七月二十三日，朝廷发布了张俊的升迁，少师、枢密使、济国公张俊为太傅，进封广国公，赐玉带。此后，张俊便返回镇江枢密行府，岳飞却留在了临安。
八月八日，高颖被放外任，添差福建路安抚大使司参议官，且限他三日赴任，令湖广总领馆林大声“优与津发”。
八月九日，皇帝按惯例两下“不允诏”后，终于下令让岳飞罢官，岳飞还两镇节度使，充万寿观使。
自废罢宣抚司之后，岳云本已不任实职，朝廷这回倒没忘记将他改任，让他保留左武大夫、忠州防御使的遥郡官阶，提举醴泉观。同一天，岳飞的幕僚们共十一人也都“奉祠”。
所谓“奉祠”，跟岳飞那个“万寿观使”，岳云的“提举醴泉观”相类，都属于闲职，名义上提举、提点某某道观、某某岳庙，实际上不需要赴任。
国朝早期因真宗皇帝崇尚道教，常用祠禄官优待宰相、执政、从官、内侍及武臣，后来渐渐地又用来优待戚里、勋臣“养贤优老”。神宗时开始用来安排持不同政见者和与当轴者不合的官员。祠禄官虽然有贬黜之意，又略含优礼，除享受祠禄官待遇之外，仍有起用、甚至重用之可能。
然而岳飞收到的罢官制词却是寓斧钺之威于文采风流：
门下：联枢筦而赞庙谟，式重股肱之寄；拥节旄而奉朝请，益隆体貌?之恩。乃眷勋臣，方居密席，遽沥退身之恳，盍推从欲之仁。爰告大廷，用孚尔众。少保、枢密副使、武昌郡开国公、食邑六千一百户、食实封贰阡陆伯户岳飞禀资肃毅，挺质沉雄，方略得古良将之风，忠勇有烈丈夫之操。奋身许国，彯赵士之曼缨；励志图功，抚臧宫之鸣剑。自总干方之任，久专制阃之权，惟绩用之殊尤，亦恩褒之备至。戎骍导节，既叠组于大邦；孤棘位朝，遂进班于亚保。兹图茂阀，俾翊洪枢，庶资筹幄之奇，以辑平戎之略。歘烦言之荐至，摘深衅以交攻，有骇予闻，良乖众望。朕方记功掩过，事将抑而不扬；尔乃引咎自言，章既却而复上。谅忱诚之已确，虽敦谕而莫回，是用崇使范于殊庭，畀斋坛于旧服。留以自近，示不遐遣，以全终始之宜，以尽君臣之契。于戏！宠以宽科全禄，光武所以保功臣之终；曾无贰色猜情，邓公所以得君子之致。朕方监此以御下，尔尚念兹而事君。往哉惟钦，服我明训。可特授武胜、定国军节度使，依前少保，充万寿观使，仍奉朝请。主者施行。【1】
制词前半部分盛赞了一通岳飞作为武臣的资质精神以及他的忠勤功勋。笔锋一转，便说他自登用枢府以来怨愤之言渐生，嫌隙交攻之事日增，实在有负众望，让朕吃惊不小。接着官家又表态说我将对你记功掩过，将事情压下来不曾宣扬。既然你已经引咎辞职，便让你在行朝任个万寿观使，仍领武胜、定国军两镇节度使虚衔，并未将你远遣，以全我们的君臣相知之情，以尽善始善终之义。
重点来了，官家自比光武帝刘秀有宽宏大量，以高官厚禄保全功臣，同时对岳飞提出希望，希望他仿效邓禹以至诚伺奉君上，“无贰色猜情”。
岳飞与幕僚及李夫人、岳云传看这份制词，是个明白人看到“无贰色猜情”，都能感到官家内心的猜忌疑虑和言辞中的警告含义。然而，官家至少还表明了保全功臣之心，这让大家都稍微松下了一口气，岳飞对在京宫观及仍“奉朝请”这份荣誉也没有兴趣（象他这样的在京宫观官带奉朝请者，每月逢一、五日赴朝会立班，共六次，称为“六参”），按规矩上谢表的同时，也上了辞免两镇节度使和在京宫观的札子，请求皇帝另授一在外的宫观官。
请求在外宫观的札子上了两道，最后的答复是“不允”。李夫人和岳云的内心又揪起来，总觉得官家是不放心岳飞离开自己的视线的。
八月十四日，岳飞奉了宫祠，但依旧居住在临安府。围绕在岳飞周围的幕僚，则被全部出了外任，并且朝廷不停地发省札催他们离开临安府赴任。于鹏去做广南东路安抚司参议官，党尚友去做广南西路安抚司参议官，孔戊去做江南西路安抚司参议官，孙革通判兴化军，张节夫通判南剑州。
如今，临安成了岳飞一天都不想多待的地方，岳飞真想回江州旧宅住上一阵。那里有峻秀幽静的山水，有他挚爱母亲的坟茔，有让他能感到平静和治愈的庐山西麓的东林寺，那里本来就是他预备退休后归养的胜境。
然而，皇帝竟然不允许他告假。八月二十四日，还有省札送至府中，“三省同奉圣旨，岳飞所居屋宇不足，令临安府应付添造。右札送万寿观使岳少保。”【2】
岳飞自己不得随心所欲，尤其心疼岳云，他自十二岁从军，以流血换取真实的军功，以幕职抵砺将门的谋略，今年虚岁二十三岁，正是充满了生机和希望的年纪，一个众望所归的未来将星突然之间被命运的巨手夺去了他的疆场，任是谁见了都觉得不甘吧。
然而岳云除了留在溶溶月色中的背影偶尔流露出些迷罔和失望外，他日夜读书，偶尔出游，待家人和颜悦色，倒不见得多颓废，显然是以向前看的勇气和实际的行动力在治愈他自己，岳飞看在眼里，却又感到欣慰。他自己虽然你遍体鳞伤，倒也没那么痛了。
转眼到了初秋的九月，岳飞原先的属官一个个都被催促着赴了新任，岳飞在家闲着，夜则辗转于廊庑间看云赏月，日则于书斋焚香研墨，阅读书写，旁观着妻子、孩子们的日常生活，心中也多了些与往日不同的温柔心绪。他停止了跟鄂州军中将领的一切联系，朝会时也不与其他人深交，只从邸报了解朝堂的决策和文武官员的论奏。
九月十九日，此前被扣押在涿州的宋使莫将和韩恕被金人放了回来，还携带了一封来自金国越国王都元帅完颜宗弼的言辞不善的嫚书。在书信中仅将赵宋的官家称为康王，扬言将要“荐降天威，问罪江表，已会诸道大军，水陆并进，师行之期，近在朝夕，义当先事以告”。【3】
朝野对此猜测不定，议论纷纷，担忧兀术怕是又要兴兵入侵，可官家却似乎能见微知着，仅从宗弼放还使者这一点上便认定金人有议和的意向。他在朝堂上告谕大臣们：“此大致是上天悔祸，虏人有休兵之意了。朕料所以致此者有二：今春兀术提兵南来欺我，却惩淮西、濠梁之败，此其一。金人也知我国将帅以往各自为家，莫相统一，如今听说诸军军人尽归朝廷，纪纲既立，军政必修，他们这是怕了，此其二。”【4】
朝堂上除了秦桧及时地奉上了一句“每恨虏情难保，未能仰副陛下悯乱之意”外，其馀人的反应，不是默不作声，装聋作哑，便是厚着脸皮上前提醒淮西、淮东边境还需早做防备。
四天之后，朝廷便另派出了刘光远、曹勋为使者，持大宋的答书前去，坊间传闻国书的内容极尽卑辞，有“今闻兴问罪之师，先事以告，仰见爱念至厚”之语。【5】
十月二日，枢密都承旨郑刚中被任命为川陕宣谕使。官家和秦桧打算停止一切军事行动，命郑刚中前往川蜀，晓谕西军诸将【6】。十日之后，川陕沿边九月里的捷报才传到行朝，右护军都统制吴璘收复了秦州（治成纪，今甘肃天水市），接着又在剡家湾大败金军，斩首三千六百人，生擒七百人【7】。可惜吴璘受朝廷之命，已在九月二十八日从腊家城（今甘肃秦安县东）班师了【8】，退入腊家城中的金国统军胡盏想来是逃过一劫了。此后，川陕宣抚使都统制杨政又败金人于宝鸡，亦不过是又一枚镜中月罢了。
十月三日的枢密院镇江行府，却是另一副光景。在此办公的枢密使张俊心潮翻涌，以至于扣不好颈侧领襟上的金属纽扣。这种心情很难形容，有点儿像第一次上战场，不敢杀人，却终于杀了一个人以后的那种激动和后怕。他已向朝廷上了札子，“张宪供通，为收岳飞处文本后谋反，行府已有供到文状。”今日便要将张宪押赴行在的大理寺了。
这是他和秦桧的合谋，他们精心挑选了三个人