王府圍墻高大堅固，兩千士兵部署在圍墻上和房頂上，用弓箭死守，而攻打王府的士兵有六千人，都是投降尉遲虎的三名中郎將部下。
這時，尉遲虎率領五千士兵趕到，尉遲青連忙上前來參見大哥，尉遲虎看了一眼王府問道：“有勸降了嗎？”
“我給曾靖海喊過話了，但沒有回應。”
“他人在哪里？我來勸他。”
“就在正門旁邊，大哥要當心對方冷箭。”
尉遲虎來到大門前，親兵們高舉盾牌，將他遮擋得嚴嚴實實。
“曾老弟可在？”尉遲虎高聲喊道。
半響，有人回答道：“尉遲虎，召王待你不薄，你卻要奪他的根基，你不羞愧嗎？”
聲音正是中郎將曾靖海，尉遲虎道：“曾將軍誤會了，我尉遲家族何德何能，敢霸占嶺南？我們是支持四郎李鄜上位，李瑜昏庸，沉溺于音樂酒色，不堪大用，你何必效忠這種人。”
“李鄜更昏庸無道！”
“曾老弟，我其實是支持長子李鴦，但不知李鴦會不會被扣在長安，所以暫時支持李鄜，如果李鴦回來，我自當說服李鄜讓位！”
“你以為我會相信你嗎？”
尉遲虎搖搖頭，“這不是信不信的問題，而是你的選擇，要么我一把火燒了王宮，你們和王宮玉石俱焚，要么你和我一起支持李鴦。”
曾靖海半晌道：“你此言當真？”
“我尉遲虎向上蒼保證，絕無戲言！”
“那好，我曾靖海愿聽從尉遲將軍的號令，你不得讓我手下放下兵器，也不能解除我的職務。”
“大哥，他們必須放下兵器投降！”尉遲青急道。
尉遲虎擺擺手，“現在要盡快平息事端，穩住局勢，等我們站穩腳跟后，再慢慢收拾他。”
他隨即高聲道：“曾將軍既然是水軍，那么可去岡州駐扎在新會縣。”
“你們后退三百步，開啟西城門，我率軍撤離！”
曾靖海其實并不相信尉遲虎，但他已經沒有選擇了，如果對方一把火真燒了王宮，不僅他們都得喪命于火海，大公子的妻兒都保不住，自己沒法向老王爺交代了。
撤離南海縣至少是目前最好的結局，他下令道：“全軍準備撤離！”
尉遲虎下令軍隊暫時停止包圍王宮，后撤三百步，又開啟了西城門，曾靖海率領兩千士兵迅速撤離了王宮，向西城門外奔去。