天保１３年(1842年)6月1日、白河藩士沖田勝次郎の長男として生まれ、名は惣次郎。4歳のときに父・勝次郎が死去し、母とも死別したとされる。
　９才の時に、近藤道場・試衛館に内弟子として預けられた。剣技は天才的で、10代のうちに免許皆伝に達し、文久元年(1861年)には塾頭になっている。幼少に両親を失った惣次郎は、姉のミツを慕い、育ったと言われる。塾頭になったこの頃から、総司と名乗るようになる。

文久３年(１８６３年)、八郎が提案した幕府の「浪士組」結成に、試衛館天然理心流一門の近藤、沖田、山南らと共に参加し上洛、しかし、京入りした。しかし、八郎の意に反し、試衛館一門、芹沢一派らはそのまま京壬生に残ることとなる。