自然主義リアリズムが身上の東映東京撮影所には、一方で片岡千恵蔵主演の『Ｇメン』シリーズに代表される、無国籍なアクション映画の系譜があったが、今ひとつ垢抜けずもっさりした感じを抜け出せないでいた。この時期、イキのいいアクション映画で業界をリードとしていたのは日活だったが、東宝も『男性NO.1 』（1955年、山本嘉次郎監督）で先鞭をつけたギャング映画という路線に、岡本喜八が登場し、新風を巻き起こしていた。

ちょうどその頃、瓦解寸前の新東宝から東映にやってきた石井輝男が『花と嵐とギャング』（61）で、弛緩した大時代的な東映製のギャング・アクション映画をバタくさいモダンな演出で刷新する。深作欣二は石井の登場を次のように評した。「さるほどに1961年――東映東京撮影所ではまだ、ヤレ作れの「乱世」が続いていた。既成の自然主義的リアリズムだけでは間に合いっこない、遠慮無用だ、ヨソの会社のをイタダいちゃえ、無国籍アクション結構、渡り鳥結構、何でも結構――そんなテンヤワンヤの中へ、突然、一人の若い浪人が現れた。椿三十郎ではない。剃刀で切ったカッティング、ダンモの乗っかるシャープな映像――石井輝男監督である」（「東映現代劇12年を舞台裏からみれば」～「映画芸術」1965年８月号所収）。

1961年9月には、東映京都撮影所から成績の悪かった東京撮影所の立て直しのために37歳の岡田茂が所長として乗り込んでくる。岡田は新しく衣替えしたギャング映画という路線に金脈を見出し、たちまちこの路線をシリーズ化することを決定する。これを受けて石井は『花と嵐とギャング』の姉妹篇『恋と太陽とギャング』（1962年）を撮ることになるが、ＳＰ（シスター・ピクチュア）を４本撮っていた深作欣二にも『花と嵐とギャング』につながる作品を監督するように社命が下る。深作にとって初めての長篇映画である。実はこれは村山新治が監督するはずだった作品が中止になって、急遽その穴埋めとして深作が登板することになったものであった。

脚本は『花と嵐とギャング』を担当した佐治乾。八木保太郎門下で東京映画『ママの日記』（1954年、春原政久監督）でデビューし、日活と契約し、次の『少年死刑囚』（1955年、吉村廉監督）で注目される。『暗黒街の美女』（1958年）、『影なき声』（1958年）といった鈴木清順の初期作品の脚本も執筆しているが、1959年に東映と契約。深作と組むことになった佐治は、石井の次回作で使うはずだったプロットをそのまま生かすことにして、『白昼の無頼漢』（1961）の脚本を書き上げる。役者はこの年、東映と本数契約を結んだ丹波哲郎を起用することだけが決まっていたが、結果的に丹波を始め、久保菜穂子、沖竜次ら元・新東宝組が顔を揃えることになった。クレジットにはないが、深作が佐治の脚本にかなり手を入れたため、佐治は当初機嫌を損ねたという。主要スタッフは、撮影の星島一郎以下、照明、美術など『花と嵐とギャング』と同じである。

『花と嵐とギャング』を始めとする石井輝男のギャング映画は、キレのいいアクションを主体としたモダンな活劇で、いわば陽性。そもそも人間ドラマに全く関心のない石井の場合、『霧と影』（1961年）や『黄色い風土』（1961年）のようなスリラーであってもあまり重くならない。それに対して、深作の手がけたギャング映画は『ギャング対Ｇメン』（1962年）をのぞいて、この『白昼の無頼漢』にせよ、『ギャング同盟』（1963年）にせよ、本家ハリウッドのフィルム・ノワールに接近し、どこか重く陰性で、この２本のギャング映画に漂う挫折と敗北の匂いは、その間に作られた『誇り高き挑戦』（1962年）を経て、『狼と豚と人間』（1964年）から『人斬り与太　狂犬三兄弟』（1972年）へと至る反逆のドラマを形づくることになる。

物語は、宮原（丹波哲郎）という男がいろんな国籍の脛に傷を持つ男たちを集めて、米軍現金輸送車を襲うというケイパーものに分類されるギャング映画である。宮原に集められたのは、殺人の前科がある黒人兵トム（アイザック・サクソン）、表向きはラジオ商で、実は北朝鮮と韓国を股にかけるスパイ韓国人・金山（春田俊二）、不良アメリカ人ジョン・ケンディ（ダニー・ユマ）とその妻アン（ラビィン・シェルトン）の４人で、それに宮原の妻・亜紀（久保菜穂子）と弟の三郎（曽根晴美）が加わり、計７人。白人のケンディ夫妻が黒人のトムを「サンボ」と呼び、トムもまたケンディを「白豚」と呼び憎み合う。宮原は暴れ狂うトムを鎮めるために、特飲店から黒人と日本人との間に生まれたハーフ娘・花子（中原ひとみ）を買い、トムに与える。すぐにトムは花子を可愛がるようになり、二人の間に愛情が生れる。宮原は暗黒街につながる中国人の黒幕・趙（柳永二郎）から拳銃を入手すると、現金輸送車を襲う。ところがそれをヤクザの芝山（沖竜次）らが強奪しようと、襲撃する。

宮原は「白黒黄色、それをアゴで使って外国のカネをいただくんだ。誰が死のうと大した問題じゃありゃしない。戦後の日本人でこんなすばらしいことを考えついた奴はいない」と愛人の亜紀にうそぶく。少々怪しい“丹波”イングリッシュを駆使して日本人らしからぬ押し出しのよさを発揮する丹波哲郎にぴったりの名ゼリフである。だがトムとケンディは憎しみ合い、アンは宮原に色仕掛けで迫り、仕事が終わったら夫を殺してほしいと迫るし、逆に亜紀はケンディをそそのかす、三郎は花子にちょっかいを出してトムに殴り倒されるなど、前半は襲撃計画の準備よりも混成チームの人間関係の緊張を描くことに時間を割いているが、『拳銃の報酬』（1959年、ロバート・ワイズ監督）ほどの厚みはない。チラリと登場する政界の黒幕らしい趙は、外車の中で宮原にカネを与えると、趙を乗せた車は国会議事堂の方へ走り去る。『誇り高き挑戦』につながるような意味シンなショットだが、この人物をもう少し描いてほしかったところ。ちなみに混成チームの中でひときわ精彩を放つ二重スパイの韓国人は、佐治ではなく深作のアイデアによる創作であるという（「佐治乾作品の原体験と思想的系譜」～「映画芸術」1967年5月号所収）。

後半は現金輸送車襲撃から、宮原率いる混成チームと芝山のヤクザとの銃やダイナマイトを使った激しい銃撃戦が主軸に描かれる。前半のギスギスした人間関係は後半のトムの裏切りへと展開する。銃撃戦が行なわれる山中湖近辺の米軍基地近くにあった《カガミ原》という西部劇に登場するサルーンなどがある遊興地キャンプ・マックネアの廃墟がロケーションとしてすばらしく、『ギャング同盟』でも再びロケ地として使われることになる。星島一郎のキャメラは、ズーム、斜めの構図などのちの深作の意匠ともなるキャメラワークのほか、俯瞰、仰角、アップ、逆光、さらに車に乗った金山が撃たれて死ぬところは、ワイドレンズ（アナモフィック）を回転して瞬間的に画面を歪めておもしろい効果を出したり、と野心的な使い方もある。最後は全員が死ぬ中、ハーフの花子だけが生き残る。そもそも花子は荒れ狂うトムをなだめるためにあてがわれた娼婦だった。その花子をトムは周囲から守ってくれた。そのトムも爆死し、花子は呆然として拾った銃を虚空に向けて撃つ。

なお、短期間での撮影のため、助監督の太田浩児による第二班が撮影した部分もあるという。