蔡京权势也逐步扩张，他和赵佶之间的矛盾也逐步爆发。
首先就是蔡京广布私恩，伺察人主，甚至试图监视赵佶，这都是赵佶绝对无法容忍的。
崇宁二年，蔡京请求仿古制设置三卫郎官。
意在选择公卿子弟，入卫侍从，体现所谓法先王宿卫之意。
但是赵佶此时己经当了数年皇帝，对蔡京也有所警觉了，当即拒绝了蔡京的建议，因为蔡京想让他的儿子朝夕在赵佶旁边，好了解赵佶的一举一动，这是任何一个皇帝也无法容忍的。
当然，两人矛盾的爆发还是因为元祐党禁之事。
崇宁三年九月，蔡京炮制出了309人的元祐党籍及元符末上书系籍人名单，对这些人加以禁锢。
赵佶最开始同意，但是后来发现这只不过是蔡京为了巩固自己的权力和地位而采取的行为。
第二年九月，赵佶以铸成九鼎为由大赦天下，并对元祐系籍人开放党禁，此举引起蔡京党羽的抵触，使他们在具体执行时对相关人员只进行了量移。
针对有司阳奉阴违，对九月赦宥诏书所提及的元祐党人只做量移处理的行为，赵佶又以御笔手诏指示道：“其诬谤深重，除范柔中、邓考甫不放外，余并依己降指挥，放还乡里，令亲属保任如法。”
没想到蔡京还是指使其党羽，对赵佶的指示采取阳奉阴违的办法，这就令赵佶忍无可忍了。
崇宁五年正月，彗星经天，赵佶借天象异常，毁元祐党人碑并放宽党禁。
此举催化了蔡京等人对政局再次反转的忧惧，以至蔡京见到被毁的党人碑后厉声说道：“石可毁，名不可灭！”
蔡京的专横跋扈不光引起了赵佶的不满，连朝中的大臣们也蔡京多有不满，赵挺之、张商英连上十余疏，痛陈蔡京的一系列不法之举。
于是崇宁五年二月，赵佶将蔡京罢相。
没想到罢蔡京易，维持朝局难。
蔡京在时，虽然有种种令赵佶的不满的