潘岳（潘安）有美好的容貌和优雅的神态风度。

年轻时夹着弹弓走在洛阳大街上，遇到他的妇女无不手拉手地一同围住他。左太冲（左思）长得非常难看，他也来学潘岳到处游逛，这时妇女们就都向他乱吐唾沫，弄得他垂头丧气地回来。白发悲秋，潘安三十二岁仕途不顺使他那密云般乌黑的秀发添了几缕银丝，当时正值秋天他借古人宋玉、贾谊悲秋的典故写下了《秋兴赋》，后因以“潘鬓”谓中年鬓发初白。唐·李德裕《秋日登郡楼望赞皇山感而成咏》：“越吟因病感，潘鬓入秋悲。”