上官侍郎家的這名寵妾說話硬氣乃是有緣故的，并非只是受寵而已；這女子大名謝三娘，正是那“舊時王謝堂前燕”的謝家，雖則家道沒落已久，乃至為人妾室，但教養氣節仍在。謝氏收養了蘿瑟女之后，丈夫上官亦不能如何。這家大婦顏色已衰，一生未出，性格溫柔軟弱，在家沒有權勢；加上這新妾人格遠遠超過主人主母，兩年來家中的大小原是聽從謝三娘的，卻也不怪，若是這家中能添丁，也是這位謝夫人的兒女，故而人人趨炎附勢。
蘿瑟奴大難不死，留在謝夫人身邊，名字中的“奴”也去掉，直稱蘿瑟；雖然名上是個侍女，夫人知道她是個音樂奇才，從不令她沾染一點陽春水，免得以后回宮任職時雙手不再靈活。兩人在閨房中時，謝夫人稱她為妹妹，蘿瑟不會說話，卻會笑著點頭。
波斯人愛以花名女，那九死一生的幼兒，蘿瑟替她取名為牡丹。因為波斯語中沒有牡丹一詞，她在巾子上繡了“天國之花”的波斯語，讀作阿瑟芒斡朵。她知道唐人最憐愛的就是此花，絕不會令牡丹遭受一點風雨摧殘。謝夫人指著巾帕上的文字問她給女兒取了何名，她站起來伸出手點了點窗外盛開的牡丹花。
她手指的正是姚黃牡丹，與魏紫并占牡丹鰲頭，此時正是仲春花好。謝夫人笑著點頭，道：“如此，她也有個漢人名字，叫做黃樓。”黃樓子是姚黃別稱。從此謝夫人總是抱著這女兒穿行在花園，“黃樓兒”、“黃樓子”這樣喚她，女孩兒也十分聰慧，三個月時便會應答。蘿瑟不能出聲，但能令女兒小手摸著她的雙唇，教她念若干波斯詞語，若是黃樓模仿出來，蘿瑟便激動得落下淚來，教育這小小女兒竟是她能聽到鄉音的唯一途徑。
及黃樓十月大時，安慶緒出逃鄴城，官軍收復洛陽，接連迫降斬殺安氏一族手下將領數人，連勝回朝，肅宗歸都長安。既然唐軍到、新帝歸，那么馬上就要徹查變節徒了。上官宅上下聞軍馬蹄聲便潰不成行，謝夫人令蘿瑟帶黃樓去尋王維先生，誰知王維畢竟受過偽職，此刻也被當作變節叛黨押回都城去了。官兵收復后，洛陽的城禁森嚴，雖一蟻不能出入。叛黨被一家一戶抄送押往京師，竟搜到次年四月才搜空，將上官一家裝車送往長安。
黃樓已經一歲有余，一路上指著押解兵身上的鎧甲呀呀兒語，喊“要”、“要”。每每如此，便讓蘿瑟想起曾經被叛軍欺侮的日子來，淚流不止，謝夫人只得抱過孩子要她安靜一些。但這女孩兒十分堅持，每見到著鎧甲的兵卒，都喊要穿。
大約就是從那時開始，一家人就知道這夷女與平常人不同，隱隱約約中又不敢替她的人生下什么斷語，只知道這女兒會有很多年都在戰亂中度過，她將一生與兵甲為伴。
顛沛流離來到長安城，國都仍在，宮闕已經化作飛煙。上官侍郎家一行收押進天牢時，恰又逢王維的牢房正在對面，重逢時分不禁百感交集。王維自上次離去，還未見過黃樓，此時見這小小女兒竟然也身陷囹圄，一時不知究竟是救了她還是害了她。然而謝夫人此時一句話說出來，更是令獄中一片死寂。
“若是皇帝想要處死我們一家，已出世的女兒尚且可以充做宮奴留下一條命，但我腹中未出生的孩兒卻要不幸與我一起去死了。”
此時，謝夫人有孕才兩個月，這孩兒將是上官家唯一的后繼。
王維還記得先前謝夫人對他說過的一番話，當下雖然緘默，但心中已經下了決心，若是自己能向皇帝討回清白，不但要救那名胡女，也要救謝夫人的孩兒。他到底不是真的變節！
果真被他賭回一條命那夜雷海青被害，他曾寫過“萬戶傷心生野煙，百官何日再朝天？秋槐花落空宮里，凝碧池頭奏管弦”的句子，傳到肅宗耳里，知道他身在偽朝有許多不得已。又因為弟弟王縉平叛有功，已官至刑部侍郎，卻寧可自己削爵回庶，換他重回宮廷。肅宗諒他向來淡泊，不是勢利之徒，同意將他重新收編，做太子中允，比原來官等只是稍降。
判下，他失聲痛哭，只說獄中還有一些文稿忘了取出，懇求上允回獄取物。他折回大牢，趁獄卒不注意，遞給蘿瑟一支竹笛，再未說別的。