南唐后主李煜求和遭拒，最終被潘美和大將軍曹彬平定。趙匡胤去世后，趙光義成為了宋朝的第二位皇帝。他命潘美輔佐大將黨進攻打北漢。
潘美在979年攻取了北漢的都城太原，平定了北漢，北漢皇帝劉繼元歸順了宋朝。也正是此戰，楊家將的開山人物楊業在劉繼元的勸說下，終于向北宋歸順，與潘美展開了完美的合作。
980年，北方遼國以10萬大軍向雁門關撲面而來。潘美奉命抵御，并讓楊業率領一小隊騎兵繞到遼軍后方，因此對敵軍形成了夾擊之勢，最終大敗遼軍，斬殺了對方大將。
潘美被封為代國公。如此看來，潘美的確是戰功赫赫，并且與楊業之間不僅素無恩怨，而且還有著非常不錯的配合。可他為什么會被黑成無惡不作的奸臣呢？
這就要說到與遼國的另一場戰役了。
986年，宋太宗決定北伐遼國，兵分三路，收復燕云十六州。潘美和楊業以及曹彬等人分別領軍。作為監軍的王侁雖然沒有潘美的官位高，但卻代表著皇權，監管各軍。
結果曹彬被遼軍大敗，潘美和楊業雖然已經收復了四州，但也不能孤軍深入，只好撤軍于朔州。
可是楊業和王侁在探討如何將四州百姓撤走時，楊業的方案被王侁否定，并被污蔑成了懦弱之輩，另有他心。
楊業為了表示對大宋的忠心，決定親自帶兵襲擊遼軍，并讓王侁和潘美在陳家谷口設下埋伏，待其將敵人引至這里便開始伏擊。結果王侁等待多時都未見楊業，錯判戰情，撤軍離開了陳家谷口。
楊業到達時不見兵卒，只能拼死奮戰，最終被俘虜，絕食而亡。
當時潘美是反對王侁撤兵的，也曾進行過勸阻，只是礙于王侁代表著皇權，縱然官職高于王侁，但也得聽其命令，只能隨之撤退。
楊業作為宋太宗的愛將，得知其死訊后，宋太宗即悲痛又氣憤。隨即把王侁罷官流放，潘美降職三級。
在他被降級之后的一年時間里，雖然有過三次升遷，但沒過多久便與世長辭，終年67歲。這里便能看出潘美在此次事件中并不負有重要責任。
到了明代，民間卻把楊家將的故事編寫成了《楊家府演義》。
在這部小說中，楊家將喋血沙場，舍身報國，可謂是宋朝的頂梁柱。而故事中為了襯托出楊家將的忠義形象，便塑造了一位名叫潘仁美的奸臣。
此人用盡陰險的手段迫害楊家，簡直可恨到了極點。作者可能是為了蹭流量，把奸臣潘仁美的名字設計得與潘美相似。
所以潘美就被民間定義成了潘仁美那樣的形象。再加上小說演繹以及影視作品的傳播比真實的歷史更為廣泛，所以大多數人會把潘美當成奸賊之中的標桿人物。
通過正史與小說對比，兩潘之間的形象是截然不同，甚至可以說除了名字之外沒有任何關聯，完全是《楊家府演義》的作者通過楊業事件激發靈感而想象出來的劇情。以至于潘美被黑化了如此之久。
——“潘美還好，潘仁美才是最慘的，被人黑了多少年了，實際上根本沒有這個人。”
——“沒有嗎，我還以為有呢，故事信誓旦旦的。”
——“古代故事不都那樣么，不寫的真實點，也沒人看啊。”</p>