苦学力行・精励刻苦の見本のような少年時代から抜け出た山口は、明治17年・東京外語卒業。明治33～36年の間ドイツに留学する。ドイツ語教授となった山口は少しも身辺をかざらぬ親しみ易い人物で、いかなる生徒をも育てあげる熱心さと忍耐力をもっていた。

いわゆる「三太郎」（大村 仁太郎 ・ 谷口 秀太郎 ・ 山口 小太郎三氏）の一人。「獨逸語学雑誌」・「三太郎文法」の編集者。旧幕士族、参事院、東京外国語学校教授（ドイツ語科主任）、一高教授、獨逸語専修学校長。大正６年（1917）没。