到了黃藥師祖父這一輩，在高宗紹興年間做御史。
這一年，奸臣秦檜冤害大忠臣岳飛將軍，黃藥師的祖父一再上表為岳飛申冤。
高宗皇帝和秦檜大怒，不但不準，還將他貶官——所謂是賜金放還。
可黃藥師的祖父也是個執拗不屈的性子，忠心耿耿，便在皇宮大門外大聲疾呼，不依不饒地呼吁百官與眾百姓一起來保岳飛將軍，救國救民！
秦檜惱羞成怒，就將他直接下獄殺了，所有的家屬都流放去云南。
所以黃藥師其實是在云南麗江出生的……他從小就讀了很多書，又練成了極高的武功，從小就詛罵皇帝，說是要推倒宋朝，立志要殺了皇帝與昏庸的當朝大臣為岳飛將軍和祖父報仇！
可那個時候，秦檜早就已經死了，高宗皇帝也日漸年老昏庸。
黃藥師的父親還是一直教他忠君事親的圣賢之道，黃藥師聽了很不服氣，不斷跟自己父親爭論，家里人都說他不孝。
后來，黃藥師的父親更是一怒之下，將他趕出了家門。
于是，黃藥師從云南回到浙江祖宅。他非但不去考科舉，還以武功擊毀了慶元府的明倫堂，把當地學官都給揪了出來，狼狽不堪……
還跑到皇宮里和宰相、兵部尚書等衙門外以及衢州南遷孔府門外張貼大告示，指斥朝廷的惡政。說該當圖謀北伐，恢復故土，否則愧對祖宗云云。
朝廷大怒，派了幾百人馬晝夜捕捉黃藥師。
可以黃藥師的武功，又不正面與禁軍應戰，打游擊的話區區幾百人馬怎么可能捕捉得到他？
就這樣，黃藥師的名頭在江湖上非常響亮。因為他謗罵朝廷，肆無忌憚，說的都是老百姓心里想說卻不敢說的話！就在江湖上得了個“邪怪大俠”的名號。
后來，黃藥師的父親在云南去世，雖然和他關系不和睦，但終究是把所有家財留給了他……再加上浙江祖宅這邊的一些產業，黃藥師能賣的賣，不能賣的就打包帶走。
最后，他離開了陸地，來到東海上尋了一處無人知曉的小島安頓下來——也就是現在的桃花島了！
不得不說，黃藥師的家族也算是傳奇了……
“實際上，在下家族的這一段歷史，也算不得什么真正的大秘密。朝堂之上和江湖武林中，有心人只要去打聽和探尋一番，總是能知道的。只不過，我桃花島孤懸海外，和朝堂江湖都已經沒有太多瓜葛，一般也沒什么人去打聽。”
黃藥師的聲音淡淡的，似乎講述的是別人家事一般。只是吳云還是從其中聽出了一些不甘和怨念。
來自對宋國朝廷的失望，對當年祖父被奸臣所害的不甘，對父子關系不和睦的遺憾……
洪七公沉默了片刻，又道：“不過黃老邪，這些似乎和你說的十三秘丹藥方沒關系吧？”