武帝普通五年（甲辰，524）
北魏孝明帝召集丞相、令、仆、尚书、侍中、黄门到显阳殿，对他们说："现在贼寇遍及恒州和朔州，逼近先祖的陵墓，该用什么办法呢?"吏部尚书元修义请求派遣朝廷要员都督大军镇守恒、朔二州来抵御贼寇，皇帝说："去年阿那瑰叛乱，我派遣李祟去北方讨伐，李祟上表要求改边镇为州，我因为难于改变旧制，没有采纳他的请求。寻思李崇的这个奏表，开启了各个边镇居民心存非分之想的先例，以致有今天的祸患；但已经过去的事情难以追回，这里暂且不去追究了。然而，李祟身为皇亲国戚，声望很高，器量见识，英武超群，我想派他前去北征，不知这样是否可以?"仆射萧宝寅等人都说："这样决定，完全符合大家的想法。"李祟说："恳臣所以敢上表请求改镇为州，是因为误认为六镇处于偏远边陲，与西北戎狄部落相距很近，想借改镇为州来安慰和取悦百姓之心，哪敢启导他们反叛朝廷！愚臣罪该万死，多谢皇上赦免；现在又叫我北行，正是我报恩改过的机会。但是愚臣年纪已经七十，加上疾病在身，已经承受不了军旅生活的劳顿了。想能另外选择贤能人才。"孝明帝不同意。元修义是元天赐的儿子。
臣司马光说："李祟的上表，乃是为了将祸患消灭在萌发之前，在无形之中制敌取胜。北魏孝明帝不能采用他的建议，等到叛乱发生之后，不但设有一点愧谢之言，反而还认为那是李祟的过错，这是个不明事理的君主，哪里可以和他来商量大事啊！《诗经》说："听到美言才应对，听到讽诵就欲睡；良善之言不采用，反而责我行逆罪。"说的正是北魏孝明帝这样的人吧。
广阳王元深上奏孝明帝说："先朝在平城建丽都城时，以北部边境为重，郑重挑选亲近贤能的人，挂帅担任镇将，并且要配备高门子弟，让他们誓死保卫边陲，这样做不但不影响他们的仕途，反而还会因此得到提升，当时的人们，都非常羡慕能去那里守边。太和年间，仆射李冲掌握大权，凉州的当地人全都免除了服役，而平城的那些高门大姓，却仍然要去戍守边关，如果不是因为得罪了当权的人，谁都不想加入这个行列中。这些人到了边关之后，受镇将驱使，只能担任虞侯或没有俸禄的随从一类的卑微官职。有的人甚至一辈子都做不到军主。然而和他们同姓的京城中人却能做到上品显官，所以那些身在边镇戍守的人才由于和清贵的仕途所隔绝而大量逃散了。于是，朝廷制定了严厉的边兵制度，规定那些边镇上的人禁止浮游在外，于是那些年少的人不能拜师学习，成年人也不能出外游宦，所以这些人不被人们当作人来看待，说起来便让人感到心酸落泪！自从迁都洛阳以来，边防职任更加被看得轻了，只有那些长期不能升迁的庸碌之才，才出任镇将，这些人互相仿效，一心为自己聚敛财物，而无心于本职之事。或者各地方的奸吏，因犯罪而发配边关，这些人在背后为镇将尽出坏主意，贪赃枉法，以致贿赂成风，取代了正常的制度，边民们对此无不切齿。到阿那瑰背弃朝廷之恩，纵掠反叛而去，朝廷发兵长途追击。十五万大军越过沙漠，但不到几天工夫就返回来了，不能除尽反贼，边民见到这样的援军，于是便打心眼中瞧不起中原之国。尚书令李崇请求改镇为州，或许也是先觉察到了这一点，但是朝廷没有准许他的请求。高阙的守将管制下属严酷，上下失和，破六韩拔陵杀了他，于是结伙叛乱，攻城略地，所过之处夷灭无遗。朝廷军队屡屡败北，贼党气焰日益嚣张。这一段时间的军事行动，本希望能安定叛乱；但崔暹私自进军，被打得全军覆没，愚臣我和李祟只好徘徊在进军时经过的老路上，互相连结回驻云中，将士们的情绪也非常低落。愚臣现在所担心的，并不是西北这两个边镇，恐怕其他各镇一下子也会发生叛乱，如果这祥，天下之事，那将是不堪设想！"他的上书至上去后，孝明帝并没有认真阅读。
当初，北魏的刘腾死了之后，胡太后以及北魏孝明帝身边的监视开始变得松快一些。元义也觉得宽心了不少，所以经常出去游玩，流连忘返，他的亲信多次劝谏，但是他根本听不进去；胡太后后来得知了这一事情。去年秋天，胡太后当着孝明帝的面问所有大臣说："现在把我们母子分隔开，不允许我们之间往来，那么我还有什么用处呢！我应当去出家，去嵩山闲居寺修行当尼姑。"因此自己便要剃发，孝明帝和所有大臣们全都磕头流泪，哀哀苦求，谁料胡太后的情绪却更加严重了，一心想要出家做尼姑，不肯改变主意。于是孝明帝便住在了嘉福殿，接连住了好几天。于是便同胡太后一起谋划要贬黜元义。后来，孝明帝故意深匿形迹，迟迟没有行动，胡太后也假装特别愤恨的样子，孝明帝便把胡太后想常来显阳殿见自己的话全告诉了元义，他甚至还流着泪水对元义讲述了胡太后想要出家当尼姑的事情，并特意表现出非常担心害怕的样子，一天之内便讲了四次。元义对此深信不疑，便劝孝明帝顺从胡太后的要求。于是胡太后数次在显阳殿留宿，两宫之间不再有什么禁限了。元义曾经推荐元法僧担任徐州刺史，后来元法僧造反，胡太后很多次提到这件事的时候，元义都因此而感到自责愧疚。
丞相高阳王元雍，虽然职位在元义之上，但心中却非常畏惧元义。正碰上胡太后和孝明帝一起去洛水边游玩，元雍邀请孝明帝和胡太后一起临幸自己府内。天晚了，孝明帝和胡太后来到元雍的内室，随从官员不能进去，他们于是就互相商定废黜元义的计策。因此胡太后对元义说："元郎你如果是忠于朝廷，没有反叛之心，那为什么不解除领军之职，就以你担任的其他职位来辅助朝政。"元义非常害怕，取下自己的官帽请求解除领军之职。于是北魏任命元义做骠骑大将军、开府仪同三司、尚书令、领左右。