孫秀既恨石崇不與綠珠，又憾潘嶽昔遇之不以禮。後秀為中書令，嶽省內見之，因喚曰：“孫令，憶疇昔周旋不？”秀曰：“中心藏之，何日忘之？”嶽於是始知必不免。後收石崇、歐陽堅石，同日收嶽。石先送市，亦不相知。潘後至，石謂潘曰：“安仁，卿亦復爾邪？”潘曰：“可謂‘白首同所歸’。”潘金谷集詩雲：“投分寄石友，白首同所歸。”乃成其讖。

　　夏侯湛作周詩成，示潘安仁。安仁曰：“此非徒溫雅，乃別見孝悌之性。”潘因此遂作家風詩。

　　君子有三患：未之闻，患弗得闻也；既闻之，患弗得学也；既学之，患弗能行也。君子有五耻：居其位，无其言，君子耻之；有其言，无其行，君子耻之；既得之而又失之，君子耻之；地有余而民不足，君子耻之；众寡均而倍焉，君子耻之。