三重県北牟婁郡の漁村から向学心を抱いて上京し、明治18年（1885）、ドイツ学教師として獨逸学協会学校に赴任する。教職につくようになってからの屋敷は牛込矢来町八番地（神楽坂・赤城神社附近）にあり、大村仁太郎の屋敷もその近辺であったという。確乎不動の人格と生真面目さをもち情宜に厚い谷口は、教育と経営のすべてに無私の献身と奉仕をして生きた。
いわゆる「三太郎」（大村 仁太郎 ・ 谷口 秀太郎 ・ 山口 小太郎 の三氏）が日本のドイツ語教育を確立したと言える。獨協教育の基礎もここになった。また、獨協教育の灯火が風雪のなかでも消えなかったのもこれと係わる。
「獨逸語学雑誌」・「三太郎文法」の編集者。独語学者、獨逸学協会会員、一高・陸軍大学教授、学習院教員、獨協教頭・理事。昭和13年（1938）没。