意思就是：这是下等人说的话罢了。

家人：古代指仆役，属庶民阶层。

出自《史记》：窦太后好《老子》书，召辕固生问《老子》书。固曰:“此是家人言耳。”太后怒曰:“安得司空城旦书乎？”乃使固入圈刺豕。景帝知太后怒而固直言无罪，乃假固利兵，下圈刺豕，正中其心，一刺，豕应手而倒。太后默然，无以复罪，罢之。

译文：窦太后崇尚黄老之学，好读《老子》书，她向辕固请教，辕固直言不讳地说：“这是下等人说的话罢了。”贬道家而扬儒家。窦太后听后大怒，强迫辕固到野猪圈里和野猪搏斗。幸亏汉景帝暗中借给辕固一把利剑，辕固才杀死了野猪，保全了性命。

此家人言耳，形容为此处家人的言语耳朵。