六字尊號要比四字尊號為高，那王仔昔立馬相形見絀，眾多內官趕緊站出來落井下石，拼命說落王仔昔的各種不是，很快，王仔昔就被徽宗給拋到腦后去了。
哪知林靈素甚為歹毒，他唯恐王仔昔再有翻身的機會或對自己不利，于是暗中買通了王仔昔手下的一位名叫孫密覺的弟子，到徽宗面前揭發說王仔昔曾在背地里對徽宗口出不遜，徽宗于是命開封府審理此事。林靈素則暗中與負責監審的內侍省內侍押班馮浩相勾連，就這么讓王仔昔不明不白地死在了獄中。
王仔昔死得不明不白，加上林靈素的出現，都讓蔡京感到臉上甚為無光，于是他開始暗中派人察訪王仔昔的死因。
林靈素有鑒于此，遂夜訪蔡攸，坦言道：“近日公相似對那王小道之死耿耿于懷，暗中做了不少手腳，似將不利于貧道，不知小相公何意？”
蔡攸毫不掩飾道：“實不相瞞，那老家伙如今跟我是對頭，若是先生有主意可以扳倒他，那再好不過了！最好讓他栽個大跟頭，有什么需要咱的地方，先生盡管開口就是！我們家老四最受老家伙偏愛，上回老四犯到了我手里，我就跑去官家那里，請求官家賜死老四，以顯示朝廷執法不避親貴的決心，可官家卻說我瘋了！真是好心沒好報！”
“好！有小相公這句話，貧道就放心了！”
自從祈雨一鳴驚人之后，四方的道士及民眾蜂擁而來，都拜在了林靈素門下，一時間林靈素的弟子居然達到了兩萬多人，其中一些人正是蔡京特意安插過去以監視林靈素的。
林靈素常在延真宮開壇做法，口稱“青華正晝臨壇”，又稱天書云篆降世，可導引眾弟子成仙；此外，他又制造了“火龍神劍夜降內宮”的假象，表示內宮中有妖孽作亂，其間語涉狂悖。如此欺世惑眾，引得弟子們如醉如狂，似頗不安分。
蔡京覺得林靈素此舉，大有東漢的張角、東晉的孫恩等人的嫌疑，便分外提高了警惕。不久后，有外地州官延請林靈素前往祈雨，多有不應驗的，蔡京于是上書稱林靈素此前不過是僥幸得中而已。不過蔡京并不知道，在他上書之前，蔡攸已經告訴徽宗說，朝中有妖祟之氣，壓制住了部分真氣。
正在蔡京苦于無計可施之際，突然有一天，一位耳目前來通報道：“延真宮中有一密室，乃是林靈素入靜之所，平常都緊鎖著，小人好奇，偷偷潛入其中，發現里面有黃羅大帳、金龍朱紅依桌、金龍香爐等僭越之物！”
蔡京聞聽大喜，他一向沒把林靈素這個江湖術士及那個不成器的兒子放在眼中，因此當即入宮具奏。徽宗不信，于是蔡京請徽宗親自前往驗看。
徽宗便同蔡京一道來到了延真宮，二人開鎖同入密室，但見里面空無一物，唯有粉壁明窗而已。蔡京這才意識到自己著了人家的道兒，此前是過于輕敵了，一時間只有惶恐戴罪的份兒了。
徽宗早已對蔡京不滿，更對他涉嫌構陷林靈素滿腹牢騷，墻倒眾人推，此時童貫、王黼等人也一同站出來倒蔡。結果蔡京再次被罷相，只留了一個提舉洞霄宮的“監廟”閑職，這已他生平是第三次了。
“監廟”是宋代官制中的一個異數，一般官員得到這個差事，都是要去監管一些特別著名的宮觀、祠堂之類，可實際上又不必親自到任，俸祿只有過去的一半左右，所以被稱為“寄祿官”。監廟往往是朝廷恩賜的，也可以自己去求，更多也是安排一些被貶謫的官員，施以“薄祿”。