高宗召岳飞回来有多方面原因，主要原因还是功高震主怕岳飞成为第二个刘裕，第二个是宋朝对武将的提防唐朝的崩溃，其中一个原因就是藩镇割据地方节度掌握了地方绝对的控制权，导致对皇权的漠视。唐朝后期天子的权威受到了严重的挑衅，所以五代十国断断的50年臣弑君不断，有兵就造反，遇到柴荣这种文治武功兼备的皇帝还能镇的住，但是皇帝稍微一弱就有人造反，所以宋朝不得不守内而虚外加强中央虚弱地方，对武将严加防范。
毕竟当年的安禄山玄宗对他是非常的好身兼三镇节度使，安禄山也是“满腹忠言”，宋太祖和周世宗可以说是亲如兄弟，宋太宗和宋太祖更是亲兄弟，这样的关系在皇权的诱惑下都会有人反，宋高宗对岳飞的猜忌自然就有。高宗应该不是怕宋徽宗和宋钦宗回来当时徽宗已经死了，而且钦宗回来政治班底都没有一个亡国之君怎么可能能篡夺一个中兴之主的皇位(明英宗和明代宗面临的情况完全不同，英宗能复位是大臣默许的。
当时代宗病危无后，大臣准备立英宗儿子继位，只是被徐程等人耍了一把政治投机，相当于明英宗抢了他儿子的皇位而不是代宗的所以大臣是默许的)，宋高宗真正怕的还是岳飞本人千年后的我们心都在岳飞这里更别说当时的赵构面对岳飞威望是的想法了。如果你是赵构不知道敢堵不堵，赌岳飞会不会谋反，赢了就是中兴之主收复河山，输了就是亡国之君丢掉拥有的一切，不赌就可以偏安江南坐拥半壁江山。
后来虽然宗泽组织了北方很大一部分在靖康之乱后占山为王的独立力量，但是宗泽毕竟只是个名义上的盟主，不具备真正的军队领导者的威信，换句话说调不动这些分散的人，这也是为什么宗泽力请赵构回到北方开封，赵构死都不肯过来的原因，不光是因为作为一个标准的政客。
赵构主观上不会相信任何人的许诺，更是因为在赵构眼里，宗泽就是想要借助他赵构的南方力量，来为他宗泽这个没什么权威的盟主稳定局势，所以赵构不会也不能赌，因为收益与风险实在不成比例，赌输了就是自己和宗泽都被北方各怀心思的势力消灭掉，或者被金人消灭掉。赌赢了，最好结局无非是控制北方和南方。
然后做一个货真价实的中兴之主，正常结局是赵构赔上很多自己的南方本钱，然后被宗泽通过挟天子以令诸侯的方式架空，宗泽做宰相，他当一个半虚位的天子，最差结局是赵构赔完了本钱，被宗泽除掉，宗泽成了新的领导。所以从这个角度，赵构只要是个正常人，都会选择不相信宗泽，至少也是把自己的南方本钱先稳住，这种战略选择，宏观表现上就是所谓的“偏安一隅”。
宋高宗为何不愿意北伐，其一，无子，拿下天下，不还是交给他人，动力少了许多。其二，不划算，北伐成功固然好，能名留青史;北伐失败，金兵可能又再次全力南下，这次渡海，也不知道能不能跑。相反，如果不北伐，自己这辈子荣华富贵享之不尽，而且也有开创“南宋”保住半壁江山，足以青史有名了。至于说被“迎回二圣”给吓到了，毫无意义。北伐就是打金，在金国做俘虏的二圣很大概率会被泄愤杀死;即使还回来了，太上皇的位子在哪摆着呢，太上皇复位成功，在宋朝前就没有有过，只有之后的明朝英宗成功，所以高宗有什么可以担心的。我是觉得，站在高宗的角度，北伐怎么看都是一笔不划算的战争。
