長輩祖父 [[ 潘堂 ]] ，父親 [[ 潘鯁 ]] 都是繪畫家，元豐己末（1079年）進士。大臨與其弟 [[ 潘大觀 ]] 皆是著名詩人。元豐三年（1080年） [[ 蘇東坡 ]] 貶黃州時與潘鯁、 [[ 潘丙 ]] 、 [[ 張耒謫 ]] 多有交往。大臨能詩，宋代惠洪《冷齋夜話》卷四記載：「黃州潘大臨，工詩，多佳句，然甚貧。東坡、山谷尤喜之。其子潘振鏞以繪畫聞名。」