降将的日子是最为难过的，在正统方看来，你既然可以弃城降我，在危急关头也可以降他。实际上，杨业并没有可值得怀疑的前科，与他的兄弟不同，杨业自跟随刘崇之后，30多年间，不管北汉发生什么样的变动，他一直忠心耿耿，从无二志。
但是，光自己觉得忠心耿耿还远远不够，对于降将而言，检验和考验是必不可少的，而且这个过程可能足够漫长。降将很难被重用，这也是历朝历代的通例。看看《三国演义》赤壁大战中蔡、张二将的下场，也就不难理解身为降将的难处。
再者，以杨业在北汉军中的地位论，他也很难再受重用。他与北宋征战多年，积怨应该不浅。他在抗宋过程中获得了很高的声誉，现在又转过来依宋抗辽，难免会受到歧视或嘲弄。
杨业之所以不被重用，更为重要的根源还在于宋朝的军事制度。宋朝非常注意限制武将权力，从宋太祖开始，就对武将处处防范，决不会任由任何一员武将决定着朝廷的七分事务，更何况是能征惯战的降将。重文抑武是宋朝的国策，后来慢慢形成一种制度，演变为一种文化。
宋太祖经历了皇位频繁更替的五代乱世，由陈桥兵变起家的他，对武将左右朝局的历史认识得非常深刻，为了确保大宋江山的长治久安，防治武将拥兵自立便是头等大事。于是他精心策划设计了限制武将权力的种种措施，杯酒释兵权之后，许多开国大将都被解除了兵权。
宋朝的第二位皇帝宋太宗则是在“烛光斧影”中上台的，他对手下的猜忌之心更重，即使是亲弟、亲子也概莫能外。每次大战之前，他都给大将赐阵图，让他们“各遵成算”，不能有丝毫变动。对嫡系将领如此，对降将是什么态度也就可想而知了。
对于北汉降将杨业来说，缺乏皇帝的信任当然是危险的事，但没有同僚们的信任，危机更会进一步加深，而且很可能加重皇帝的猜忌。杨业归宋后不久，因熟悉边防情况被派往前线，立了战功，受到提拔和封赏，由此受到一些人的嫉妒和非议，有的人甚至向皇帝告状，揭他的短。宋太宗的处理方式是，原封不动地将那些斥其短的奏折转给杨业。
这一招算得上高明，但并不是宋太宗原创，而是向唐太宗取的经。当年唐太宗曾用类似的手法处理过类似的事情。有人认为宋太宗这么做，表达了他对杨业的信任。事实可能并非如此，起码不是全部。宋太宗对杨业是不放心的，把告状信给杨业看，一方面表现自己的坦荡，另一方面实际上也是在警告杨业，你的一举一动我都是知道的，全在我的掌控之中，你要小心行事了。
宋太宗的这种警告还算温和，大体上是属于有则改之、无则加勉的范畴，没有什么致命的危险。杨业虽然屡立边功，但生存环境不算太好。他不仅得不到充分的信任，还屡受排斥，诸如监军那样的上级领导前来，更是常常对他冷眼相看。这都是因为他是降将，在宋将看来他尚不是自己人，要想融入其中，还需要一个过程，这个过程非常艰难。
其实杨业大可不必抱怨，在北汉降将中，他所受的待遇是比上不足比下有余。宋在不同时期，对待降将的政策不同。平定太原之前，降将一直都受重用，目的很简单，在于发挥他们的示范效应，吸引更多的将领投降。对于被擒获的将领，则大多不用甚至杀掉。杨业被闲置起来没有被杀掉，还是比较幸运的。如果不是边情紧急，杨业又对契丹情势了然于胸，估计宋太宗还不会想起杨业，他可能永远都会被闲置下去，毕竟他与北宋抗争了近30年，给了宋朝很大的威胁。
三 潘杨有无恩怨
故事传说里，潘杨两家恩怨重重，潘美必欲置杨业于死地。事实究竟如何呢？
杨业与潘美是因为抗辽的共同需要才走到一起的。五代末年，周世宗曾收复过燕云十六州中的瀛、莫两州。979年，宋太宗打下太原之后，豪情大增，准备趁势收复其余各州，但因兵马连续征战过于疲惫，在逼近幽州之时，已是强弩之末，被辽兵大败，北方边境形势处于非常不利的态势。
杨业与契丹打交道30多年，老于边事，洞晓边情。为了加强北部边防的力量，宋太宗将他调任代州刺史，兼三交驻泊兵马部署，隶属大将潘美部下。潘美是三交都部署。代州和三交都在今天的山西，当时是抗辽前线。杨业与潘美大约相当于前线指挥官和边防总司令的关系，小说故事里描述的先锋与元帅的关系也算靠谱。
宋太宗做出这一决定的时间是979年冬天。杨业于979年8月归宋，11月即转任边防。这年冬天，山西北部的天气异常寒冷，潘美与杨业的关系也微微带着股寒意。一个是战功赫赫的边防总司令，一个是刚刚归顺急于谱写老兵新传的前线指挥官，不同的出身、地位，不同的经验、阅历，使得两个人的合作令人期待，也充满悬念。
979年宋军征辽失败，助长了辽军的气焰，他们不断地南侵，宋军形势非常被动。宋军虽然打下了大半个中国，但对阵野蛮剽悍的辽军却没有什么经验。杨业最大的优势就在于对边境情况非常熟悉，无论地理、民俗、敌情，都算得上了如指掌，虽然已是50多岁的老人，但英勇不减当年。传说杨门七子个个勇猛非凡，尽管史料无法证实这一点，但可以肯定的是，至少杨延玉、杨延昭两个孩子经常追随杨业一同作战。
应该说潘杨最初的合作是成功的，这从雁门关一役中就可以看得出来，宋军在潘美和杨业的率领下打了漂亮的翻身仗。雁门关地处代州北面雁门山的断崖绝壁间，道路曲折地势险要，历来是兵家必争之地。雁门关一役恐怕是杨业归宋后最杰出的表现。
公元980年3月，十万辽军进犯雁门关，当时镇守代州的杨业只有几千兵马，双方力量相差悬殊。危急时刻，老将军没有慌乱，凭着对地形的熟悉和过人的胆识，亲率少量骑兵从代州北面西陉寨出发，抄小路直逼雁门关北口，从辽兵背后突然杀出。辽军做梦也没有想到宋军有如此奇妙的一招，一时间阵脚大乱。潘美与杨业合击辽军，大获全胜，辽军损失惨重。驸马萧多罗当场毙命，马步军都指挥使李重海被活捉。
北宋初期，雁门关一带是宋辽激烈争夺的战场。雁门关一战对宋朝来说有着非同凡响的重要意义。自979年以来，宋军对辽作战一直处于颓势，辽兵屡屡南侵骚扰河北、山西一带，宋军束手无策。雁门关一战之后，辽兵有所忌惮，不敢轻易发动进攻，双方的局面暂时稳定下来。
雁门关战役的胜利固然源于杨业的有勇有谋，也得益于主帅潘美的密切配合，否则仅凭杨业的数百骑如何抵得过辽国十万大军？过分夸大杨业的功劳不够客观，主帅潘美也是功不可没。作为北汉降将，雁门关一战既是扬名也是正名的机会，雁门关大捷的消息传到开封，宋太宗很是高兴，提拔杨业为云州(大同)观察使，仍兼代州刺史。观察史是一个正五品的官阶，杨业等于升了一级。
杨业是北汉降将，说白点就是外来户，他的声望上升很容易引起朝中大臣以及习惯势力的另眼相看。史书上记载，防守边境的主将因此妒忌他，向皇帝打报告，说他的坏话。宋太宗看了之后并不在意，也不追问，只是将奏折转交给杨业，让他自己看。
究竟是谁说的，说了些什么不得而知。有人据此推测，潘美很可能打了杨业的小报告。这种指责经不起推敲，根据事实分析，潘美打小报告的可能性为零。
其一，潘美用不着嫉妒杨业。他自己因边事屡受封赏，在此期间被封为代国公，随后改封忠武军节度使，又加封韩国公。杨业只不过被提拔为正五品的观察史，两人地位相差悬殊，杨业威胁不到潘美，他犯不着嫉妒杨业。再者，潘美从无上书谮谤他人的历史，他也没有这个必要。他与杨业已共事六七年，配合默契，处置边事诸般顺利，屡传捷报，雁门关大捷是最好的诠释。
其二，潘美是两朝重臣，根正苗红，深受皇帝信任，在部队威信很高，又是杨业的顶头上司，若对杨业有什么不满，直接招呼就行了，用不着避近就远，惊动到皇帝那里。
其三，打小报告的人若真是潘美，皇帝应该不会将报告转给杨业。试想，潘美与杨业是正帅和副帅，皇帝这样做不明摆着挑拨双方矛盾吗？将帅不和是军中大忌，宋太宗是马上皇帝，还算英明，国家正值用人之际，他怎么会把将帅放在一个笼子里，鼓动他们自相残杀呢？
打小报告的人，十有八九是那些既嫉妒杨业又拿杨业无可奈何的人，宋太宗将报告转给杨业，也是希望他有则改之、无则加勉。
退一步讲，即使是潘美打的小报告，也算不得什么。宋朝是鼓励互相揭发的，准许“风闻弹人”，不一定有真凭实据，且不必负太多的责任，目的在于加强监督，使官员时刻警醒，不敢胡作非为。臣僚们互相告发弹劾是常有的事，御使每月必须奏事一次，如上任百日而无纠弹就要受到处罚。
在这样的大背景之下，弹人或者被弹都是正常的事，根本用不着大惊小怪，如果长期没人搭理反而很可悲。后人不必以是否弹劾过别人论忠奸。事实上，经常上书弹奏的大臣，往往都是刚直不阿、仗义执言的忠臣。
至于那些议论杨业的奏折没有流传下来的原因，一则可能都是些无关轻重的事，另一可能是涉及国家机密不便泄露。不过，杨业对此是心知肚明。因为宋太宗派人把报告送往代州，让杨业亲自观看。
宋太宗此举，固然拉近了与杨业的关系，使得杨业能够死力效忠，但另一方面也使得边将的矛盾心照不宣。如果潘美真打了杨业小报告的话，潘杨矛盾便算是就此结下了。但历史并没有记录潘杨之间有什么明显的矛盾，编撰故事的写手们也觉得潘杨矛盾波澜不惊，如果就此认定潘美是害死杨业的凶手，显得名不正言不顺。
杨家将故事也意识到这一点，所以不断把潘杨两家的矛盾恩怨前移和后拉。明代小说称，北宋在进攻北汉时，潘美曾被杨业之妻射了一箭，自此他常思报仇。刘兰芳的评书又加上了杨七郎力劈潘美的儿子潘豹等情仇恩怨，故事中写道：
潘仁美与杨业同殿称臣，辽国发兵征南，宋太宗有意任用杨业为帅御敌，不料潘美也有挂帅之意，他出班奏道：“杨业为帅，臣愿为押粮官。”杨业明白潘美是想自己挂帅，便婉辞边帅。太宗遂任命潘美为帅，潘美请杨业为先锋，杨业不肯，潘美便推荐自己的三子潘豹为先锋。
呼延赞等大臣认为潘豹年轻，没有作战经验，挂先锋印，难以服众。双方争执不下之时，八贤王提出让潘豹在天齐庙设下英雄擂，招考天下英雄。于是太宗传出圣旨，摆擂七天，七天之内胜潘豹者可为先锋，若无人打败潘豹，他就可挂先锋印。圣旨明确规定，擂台之上不能使用暗器，交手时死伤不论其罪。潘美还与杨业当朝约定，杨业的几个儿子不参与打擂。
杨业回到家中，把前因后果同太君言明，要求儿子们在潘豹摆擂的七天内，在家习武不得外出，杨业亲自加以指导管束。不料，潘豹设擂的第七天，呼延赞请杨业前去赴宴。杨七郎私自溜出家门前去擂场，一时性起上台打擂，将潘豹踢下擂台，致其当场死亡。
潘美状告杨家，在八王的提议下，此案交由开封府尹王延龄处理。王延龄调查后得出结论，潘豹比武时暗器伤人，杨七郎误伤潘豹，按规定不应治罪。但因两家有约在先，杨家父子不能打擂，杨业被官降三级。潘杨两家由此结下仇怨，并且越积越深。
有了这些铺垫，潘美陷害杨家、公报私仇显得更为可信，不再是那么无缘无故，奸臣就这样诞生了！这也从另一个方面说明，若没有虚构的故事，潘美陷害杨业实在没有足够的理由。潘杨故事被虚构到这种程度，早已超出了历史范畴，属于艺术再创作了。
四 千古冤臣是潘美
“潘人美”是杨家将传说中的重要人物，原形是宋朝大将潘美。在戏曲小说中，杨业之死完全归因于潘人美，他被描绘成了依仗权势欺上压下、通敌卖国、迫害杨家将的大奸贼。
潘美的悲剧始于元代杂剧《昊天塔孟良盗骨》；到了明代，潘美奸臣形象升级，他不仅陷害杨家，还是勾结辽国的奸细，被丑化得面目全非。这种模式一直延续至今。
其实这是一个天大的冤案，与真实的历史相去甚远。
潘美于淳化二年(991年)六月死于太原，寇准在咸平五年(1002年)才任开封府尹，明代小说《杨家府演义》却让潘美死于开封府尹寇准的刀下，根本是八杆子打不着的事。人们常说“野史杀人”，杨家将小说把潘美推向了万劫不复的境地，很多人把他当成了北宋的第一号奸臣。
历史上的潘美是深得信任的两朝重臣，战功卓著的北宋名将。他一生戎马倥偬，不仅勇猛善战，而且相当自律，基本上没有劣迹。故事中有关潘人美的演绎，即使不完全是空穴来风，也算得上捕风捉影、牵强附会、夸大其词，堪称“戏说”。
《宋史》对潘美给予了很高评价，将他与大将曹彬相提并论。他们有很多相同之处，但个性又有不同。“二人皆谥武惠，皆与配飨，两家子孙，皆能树立，享富贵。而光献、章怀皆称贤后，非偶然也。”
潘美与曹彬两人各有特点。曹彬宅心仁厚，平日里即使是只虫鸟都不忍心伤害。出使吴越，按惯例有许多个人的私下所得，但他一分不留全部上交。他统兵征伐军纪严明，秋毫无犯，不滥杀一人，深受众人爱戴。众人赞美他仁恕清慎，守法度，能保功名，是北宋第一良将。
