北海道小樽市出身。女優・田中絹代は小林の父のいとこにあたる。小樽中学卒業後の1935年、第一早稲田高等学院に、続いて早稲田大学文学部哲学科に入学。卒業後41年に松竹入社、大船撮影所に勤務するも軍隊に徴集され満州及び宮古島へ。46年に松竹に復職、木下恵介「不死鳥」（47）の現場へ。その後、木下組の助監督を6年14本務める。52年に女優の文谷千代子と結婚。翌53年、木下惠介脚本の「まごころ」で長編監督デビュー。田中絹代が唯一出演した小林作品となる。同年、BC級戦犯の手記を安部公房が脚色した「壁あつき部屋」（56）を監督するが、反米的と見なされ3年間オクラに。なお、この時に撮影した巣鴨などの映像が一部「東京裁判」に使用されている。 続く「この広い空のどこかに」（54）、「あなた買います」（56）が当たり、59年、当時で製作費3億円超、6部構成の全3部作で総上映時間9時間38分の戦争超大作「人間の条件」（59、59、61）を完成。62年黒澤映画を意識した「切腹」はカンヌ国際映画祭審査員特別賞を獲得した。 念願の小泉八雲原作「怪談」（64）のため東宝に出向。初のカラー作品、京都での大型セット建設に加え、出演者のケガに見舞われ1億円だった予算が大幅超過。私財を注ぎ込み完成に漕ぎ着けヒットするも、製作費3億2000万円は回収できず、製作元のにんじんくらぶはこれが原因で倒産。直後、松竹に戻るも一方的に契約解除を言い渡され裁判に発展、勝訴する。 ベネチア国際映画祭国際映画批評家連盟賞「上意討ち 拝領妻始末」（67）などを経て、78年から「東京裁判」（83）に取り組む。米国防省が公開した150時間のフィルムを元に、5年をかけ4時間37分の作品に仕上げた。 遺作は連合赤軍を描いた「食卓のない家」（85）。1996年10月、心筋梗塞のため死去。享年80歳であった。77年、田中絹代の最期を看取り、逝去後は記念館の建設を模索、2010年に「田中絹代ぶんか館」が下関市に開館した。
