他頓時頭皮發麻，連忙喊來仆人去找徐御吐出來的痰。
可仆人找遍了整個房間都沒有找到痰的痕跡，他們又擔心老爺生氣罵人，只好到窗外找了一片有些臟的樹葉，拿回去交差：
“老爺，找到了，他吐到窗外去了。”
倪瓚立刻閉上了眼睛，厭惡得擺了擺手：“扔到三里之外去。”
原本還在睡覺的徐御，早就被闖進來翻箱倒柜的仆人給嚇醒了，見到這一幕，頓時臉色鐵青。
他連早飯都沒留下來吃，穿戴好之后，便朝倪瓚重重地“哼”了一聲，大袖一甩，直接出門而去。
結果自不用想，從此之后，徐御再也沒有來拜訪過倪瓚。
對于此，倪瓚倒是沒有什么失落，他本就性情孤傲，自然不會追上門去解釋什么，而且他也不覺得自己有什么不對的地方。
又過了一些時日，倪瓚和仆人外出游覽。
外出游覽，是倪瓚的一項主要活動了，見到有價值的景和物，他都要認真寫生，等到回去的時候，往往是畫卷盈笥（sì）。
這一次，他游覽結束回家的途中，一個不小心就看到了一個年輕貌美的歌姬，再一個不小心就看中了她。
要知道，倪瓚因為有潔癖，很少近女色的，如今能碰上讓他也心動的女子，實在是太難得了，就連兩個隨身仆人，也都覺得很吃驚。
倪瓚是個很直接的人，看中了這歌姬之后，便帶回家里留宿。
可帶到家里以后，倪瓚的老毛病又犯了，他怕她不干凈。
想了好半天，他便讓仆人帶著這歌姬先去好好洗個澡。
歌姬洗完澡之后，便上了床，倪瓚便將她從頭摸到腳，邊摸邊聞，始終還是覺得哪里不干凈。
“唉，再去洗一次罷。”
倪瓚搖了搖頭，嘆息了一聲。
那歌姬很委屈，可她啥也不知道，也不敢問，只好乖乖地跑去再洗了一次。
洗了再摸，摸了再洗，洗了又摸，摸了又洗……
估計那歌姬都快哭了，這位大老爺的口味真怪，我身上的皮都要洗脫一層了。
洗來洗去，倪瓚抬頭一看，天亮了。
于是，只好作罷。
元泰定五年（1328），長兄倪昭奎突然病故。隨后不久，母親邵氏和老師王仁輔相繼去世，使倪瓚悲傷不己。
他原來依靠其長兄享受的特權，隨之淪喪殆盡，倪瓚變成了一般的儒戶，家庭經濟日漸窘困，他懷著憂傷的情緒，自作述懷詩，詳述當時自己痛苦的環境。
元至正初年（1341），倪瓚散盡家財，開始漫游太湖，行蹤漂泊無定，足跡遍及江陰、吳江、松江一帶，以詩畫自娛。
同時，他也開始與人交際，友人多為和尚、道士或詩人、畫家，他作的詩作多半也是和這類人酬唱之作。
在這段時期里，他也養成了清高孤傲的性格，超脫塵世逃避現實的思想，這種思想也反映到他的畫上，作品呈現出蒼涼古樸、靜穆蕭疏的意向。
這一天，倪瓚又乘船去訪友，他正躺在船艙中小憩時，小船被一船官兵給攔住了。
仆人嚇得半死，不料，為首的一個將官卻很客氣，拱手問道：“船上可是倪高士？”