高岳坐在御史三院里的“臺院都廳”當中，當即讓知雜侍御史和主簿，連逐七名竇黨的御史出臺。
竇參手下的御史毫不屈服，便叫囂要仗彈高岳。
然而皇帝這幾個月也沒正式朝會過一次，平日里政事就在紫宸殿或小延英殿里和數名宰臣決議，御史想要仗彈高岳，也沒有機會，便又投匭彈劾，然則投匭的密信還是要從高岳那里走，高岳按信筆跡索人，又驅逐五名御史出臺。
最終御史中丞趙憬找到皇帝抱怨說，再讓高淇侯這樣攆下去，馬上御史臺三院就空了。
皇帝沒辦法，就把高岳、竇參和班宏三位喊來，要賜宴仲裁爭端。
竇參跪在皇帝面前是老淚縱橫，說高岳肆意踐踏憲臺定則，要求罷免其御史大夫的官職，再者他身為興元、鳳翔節度使，也不該兼任正拜的御史大夫銜。
可高岳卻說，我若罷御史大夫，便同時請罷竇參的中書侍郎！
為息事寧人，皇帝即刻出制，讓高岳九月十五日時便出京，至慶州城，籌辦御營各路軍馬剿滅黨項的事宜，不得再于長安滯留，“興元節度使高岳入朝至此結束。”
同時新任的淮南節度使吳湊，和江淮轉運使張滂也一并必須離京，往東南去赴任。
臨行前張滂還奏請皇帝，說他到了揚子巡院后，原本劉晏在河南、江淮所設的十二所巡院，還有十鹽場、四鹽監，他都有權力征辟相應的官員，并且給皇帝獻上了份名單。
可班宏卻堅決不肯接受這份名單，對皇帝說巡院、鹽場和鹽監官吏的任免權，應在判度支的宰相手中。
由是班宏、張滂怨恨更深。
十五日當天清晨，官街鼓在四更二點剛剛敲響時，高岳不走都亭驛，而是直接出宣平坊，往京西而去。
輔興坊的靈虛觀前，高岳下馬，怔怔看著蜿蜒而上的臺階，和掩在各色林蔭下的園舍。
“韋馱天你把馬拴在樹邊，不要隨意走動。”
“主人，這是啥地方，你要進去？”
“我去見一位友人。”
單純的韋馱天就哦的聲，蹲在了樹下。
高岳拾級而上，靈虛觀無人把守，已經無花的桃樹遍栽觀內，草堂廊下幾名幼小的婢女正笑著在那里打雙陸。
見到高岳打扮，她們急忙起身告禮，告訴高岳，靈虛煉師在重陽節前就和幾位侍女去咸陽舊城登高去了。
聽到這里，高岳的心才算安定下來，原來李萱淑無礙。
不過他也明白，李萱淑之前還吵著要重陽節和高岳一起過夜的，現在卻一反常態去登高，怕是也有怨恨的心思在里面。
兩天后，咸陽武安君祠堂中，高岳繞過祭殿和焚帛爐，來到十分僻靜的后院。
“淇侯，淇侯。”看到高岳，一名侍女臉色驚慌地跑出來，倒把高岳驚得不輕，“發生何事了？”
那侍女就說，淇侯趕緊來雅舍里來看看，公主有大事了。