童貫因能征善戰，而身價倍增。
慢慢的，童貫掌控起西北軍政大權，然后開始侍功驕橫，對西北軍政將領官吏的選拔，完全撇開朝廷，繞過蔡京，直接奏明趙佶。
這既傷害了蔡京的自尊，也破壞了朝廷的制度，引起蔡京極大的不滿，兩人之間的關系開始出現裂痕。
大觀三年五月，趙佶念及童貫在西北開邊戰功顯赫，下詔授予童貫開府儀同三司——開府儀同三司，是一個顯示皇恩和崇高社會地位的榮譽官銜。
對于這個詔命，蔡京堅決反對并且拒不執行，他忿忿而言：“童貫是一個宦官，讓他擔任節度使都有些過分，怎能再授予他使相呢？”
蔡京的強硬態度，讓趙佶感到很惱怒。
皇權又一次遭到挑戰。
童貫聽說此事后也非常生氣，他暗中秘密聯絡御史中丞石公弼、侍御史張克公等大臣，上朝彈劾蔡京，他又鼓動郭天信進宮對趙佶說：“太陽中出現了黑子，主在斥退大臣，否則不詳。”
郭天信在太史局任職，趙佶任端王時，他曾預言過“王當有天下”，因此，趙佶對他的話比較信服。
趙佶又產生了罷相之意。
蔡京屢次進宮求見，均被趙佶拒之門外。
蔡京何等聰明，如何能不明白趙佶想罷免他？
于是，不久之后，蔡京上表主動請求辭去相位。
趙佶很快同意，讓蔡京再次擔任閑職中太乙宮使。
又過不久，趙佶進升蔡京為楚國公，令其致仕，仍提舉編修《哲宗實錄》，每月初一、十五上朝。
這是蔡京第二次罷相。
蔡京這第一、第二兩次罷相雖然背景不同，但有一個共同點，即都是因為出現了“天變”。
古人認為，出現天變，就意味著朝政有缺失，作為總領朝政的宰相理應承擔責任，要么直接罷免，要么引咎辭職。
其實，這只不過是朝廷政治斗爭的一個借口罷了。
蔡京兩次被罷相，本質原因是相同的，都是蔡京以相權冒犯了趙佶的皇權。
自宋神宗以來，北宋政壇已經形成了一切權利都屬于皇帝的局面。
蔡京竟公然挑戰這個局面，趙佶豈能容忍？
年輕時的趙佶，其實政治頭腦很精明，他很善于運用政治手腕，他要牢牢掌控最終決策權，他想將大臣玩弄于股掌之中。
而第二次罷相之前的蔡京，所追尋的是這樣一個理想局面，即相權與皇權共治天下。
這也是封建時代儒家知識分子的一貫夢想與追求。
然而，趙佶卻不這樣想，他認為，相權是為皇權服務的，相權不能對抗皇權，所以，他既要利用蔡京的才能為他自己服務，又要適時打擊一下蔡京的氣焰，給蔡京一點顏色瞧瞧。
而打擊蔡京，實質上就是打擊蔡京所掌控的相權，趙佶的目的是給滿朝文武顯示一下皇權至高無上的權威。
趙佶要讓滿朝文武明白：朕可以給你高官厚祿，也可以讓你什么都不是，甚至身敗名裂傾家蕩產。
到了此時，蔡京終于明白，相權在皇帝眼里只是皇權的附庸，自己所要服務的對象不是大宋王朝，而是大宋皇帝趙佶。
這年蔡京已六十三歲。
這年冬天，蔡京正式辦理了退休手續，他以為自己從此可以告別政壇了。
雖然已經下臺，但因為對蔡京的忌憚，蔡京仍不斷遭到政敵的攻擊。
蔡京被迫離開東京，到杭州居住。
如果蔡京從此退出政壇，在杭州頤養天年，那么，蔡京或許就不會被明代《水滸傳》塑造成一個奸臣形象，或許也不會被太學生陳東列為“六賊”之首成為北宋滅亡的替罪羊了。
可是，蔡京答應過趙佶，要盡死以報趙佶對他的知遇之恩。