潘安出身儒學世家。少年時，隨父宦游河南、山東、河北，青年時期就讀洛陽太學，二十余歲入仕，供職權臣賈充幕府，后歷任京官，因作賦頌揚晉武帝躬耕藉田顯露才華被當權者左遷河陽縣令(今洛陽吉利區)，潘岳負其才而郁郁不得志。時尚書仆射山濤、領吏部王濟、裴楷等受寵，潘岳很憎恨他們，于是在宮殿大門柱子上寫下歌謠：“閣道東，有大牛。王濟鞅，裴楷鞧，和嶠刺促不得休。” 又被左遷離洛陽更遠的懷縣做縣令。潘岳做得有聲有色、政績斐然，朝廷提拔他到京城做財政部官員，后來因為犯事被免職，不久被太傅楊駿引入門下做了太傅主簿。后來太傅楊駿被害夷三族，潘安作為幕僚也在被誅之列，幸虧當時他公事在外又有當權者、楚王的心腹、他的好友公孫弘替他說話（潘岳曾在他貧困潦倒時幫助過他），他被調往長安做縣令，因為母親生病辭官奉養，在此期間與好友石崇附會賈充外孫賈謐，之后升遷做了黃門侍郎，賈謐開閣延賓，召集天下文士潘安、石崇、陸機、左思、劉琨等二十四人，因文采蓋世被稱為“魯王二十四友”。他們經常活躍在巨富石崇的金谷園里，因此也被稱為“金谷二十四友”。賈謐“晉書斷限”的功勞是潘安出的主意，潘安的母親經常勸他不要趨附不已，他雖然口頭受教，實際上卻愈發不知足，始終改不掉。之后趙王司馬倫囚禁晉惠帝自立為帝，他的親信孫秀當上了宰相。原來當初孫秀不過是個下人小吏，潘岳的父親曾經做過他的上司，當時潘岳因為看不慣孫秀為人狡黠經常鞭撻他，如今孫秀得勢遂羅織罪名說他和石崇要和某王爺一起造反，于是他和石崇等人被誅滅三族，當初孫秀當上宰相，潘岳在朝堂上遇見他，問道：“孫令猶憶疇昔周旋不”（孫宰相還記得當初嗎）孫秀回答：“中心藏之，何日忘之！”潘岳于是自知不免。當初被收押，石崇和他都不知道對方也在其中，石崇已經送往菜市場，潘岳后至，石崇對他說：“安仁，怎么你也來了！”潘岳回答道：“可謂白首同所歸。”潘岳《金谷詩》云：“投分寄石友，白首同所歸。”本意是說兩人關系很鐵，老了還在一起玩，誰知到竟然成了他們死亡的預言。潘岳的母親及兄侍御史潘釋、弟燕令潘豹、司徒掾潘據、潘詵，兄弟之子，已經出門的閨女，無長幼一時被害，唯潘釋的兒子潘伯武逃難得免。而潘豹的閨女與其母相抱號呼不可解，于是被赦免。