对此岳飞非常不高兴，他心灰意冷地离开了建康，溯江西上。岳飞虽然非常不满，却不敢直接对皇帝发泄自己的情绪，于是以“将相议事不合，乞罢兵守余服”为名，向皇帝上奏辞职。</p>
赵构的批示还没下来，岳飞就回到了江州庐山东林寺附近的居第。赵构接到岳飞的奏折后，立即下旨要他复出治事。</p>
赵构虽然表面上不动声色，但实际上却非常不满，在他看来，岳飞的举动就是大不敬。宋高宗听取张浚的建议，派张宗元前往鄂州，担任岳家军的宣抚判官。</p>
虽然岳飞将岳家军的军务委托给了张宪，但此时张宪也因病离职，朝廷又派张宗元前来，结果引发岳家军内部的混乱，导致军心慌慌。</p>
此时岳飞也已经接到赵构的旨意，但他仍然没有返回军营的意思，再度向宋高宗提出要在庐山为母亲守孝。赵构接到奏折后，再度向岳飞下旨，表示军情紧急，希望岳飞不要推辞，速速返回军营，不要再有所陈请。岳飞接旨后，仍然没有复出的意思。</p>
赵构没有办法，只好下发了第三道旨意。南宋朝廷料到岳飞可能还会不遵旨意，让三省、枢密院向岳飞手下的参议官李若虚、统制王贵下了一道命令，让他们去庐山敦请岳飞，假如违抗命令，以军法从事。</p>
李若虚见到岳飞后，岳飞依然没有复出的意思。李若虚说道：“是欲反耶，此非美事。若坚执不从朝廷，岂不疑宣抚。且宣抚乃河北一农夫耳，受天子之委任，付以兵柄，宣抚谓可与朝廷相抗乎！”</p>
在这种情况下，岳飞才返回军中，同时以待罪之身向朝廷上书。虽然赵构没有怪罪岳飞，但这是因为当时的战况紧急。</p>
不过，赵构在给岳飞的一道御札中，警告岳飞，“犯吾法者，惟有剑耳”。在赵构看来，岳飞非常跋扈，居然敢三次违背自己的旨意，到底谁才是老大？</p>
总之，岳飞谜一样的操作整的赵构寝食难安，但赵构又不敢拿岳飞怎么样，毕竟这万里江山还需要岳飞的守护。</p>
李寺当然知道赵构和岳飞之间的恩怨情仇，他指着天上的月亮道：“你看，月有阴晴圆缺，人有优点缺点，你对岳飞是不是有些偏见？”</p>
“我是问你和岳飞说了什么，谁问你岳飞有什么缺点了。”</p>
“你要是对岳飞没有偏见，怎么会在意我和岳飞说什么？”</p>
李寺知道赵构心里的想法，赵构是怕李寺撺掇岳飞谋反，李寺已经说中几次军情，要是和岳飞联手，这边关局势可就紧张了。</p>