到山東長島挑選的顏色、直徑都一樣鋪地卵石，運到北京后，一個的價錢相當于一個雞蛋，從云南搬運巨石的做法也為人所詬病，甚至有人把這種做法與宋徽宗的花石綱相提并論。
還有環保的問題，貝聿銘在設計中為保存古樹想了許多辦法，但最終建設過程中，還是伐樹245棵，其中百年以上樹齡的79棵。
在選址上也飽含爭議，從旅館經營的角度看，香山并不是一個大的風景區，離市區不過二十幾公里，游人可以一天之內游完主要景區，回到市內過夜，在此處建造一個300多間客房的旅館，客源無法得到保證。
日后也果然如此，香山飯店的名聲很響亮，但客源卻不如人意，好多人專門從市區過來，但是到了飯店到處看看就走了，并不會留下過夜。
同時，香山飯店的原址也是靜宜園二十八景之一虛朗齋，曾經是康熙、乾隆的行宮，雖然被英法聯軍燒毀，但尚有遺址存留，就這么拆毀等于是抹去了一段歷史印記。
從建筑設計而言，香山飯店也并非完美，尤其是和貝聿銘日后另兩個具有濃郁氣息的項目——RB的秀美術館和國內的蘇州博物館新館相比。
在建筑和自然的關系上，香山飯店的處理是通過調整建筑的邊緣，利用極其曲折的邊緣來營造園林的意象，就像建筑長出幾條手臂伸入到自然之中；而美秀美術館和蘇博新館反而是建筑邊界逐漸清晰，不再是建筑伸入自然，而是像建筑張開手臂環抱自然。
這點區別其實就是東西方理念的本質區別之一香山飯店是自然圍繞著建筑，建筑具有絕對的主導權；而到了美秀和蘇博，則是建筑圍繞著自然，同時自然（環境）再圍繞著建筑，自然和建筑都沒有主導另一方，而是一種共生的姿態。
所以說，香山飯店的設計出發點本質上是西方語境下的，建筑為主體，自然環境為客體，建筑主導環境，造園也好，對景也罷，只是增加一些東方的元素，不會改變建筑的西方現代主義底色，是具有中國傳統建筑特征的現代建筑。
盡管如此，在八十年代的中國，香山飯店依舊是一棟極有意義的項目，如今國內的建筑師對國外的了解很少，大多數依舊沉浸于過去的蘇式、民族式的建筑模式，香山飯店讓他第一次親眼見到現代建筑是什么樣的，給他們帶來了巨大的震撼，開闊了他們的眼界。
當年崔愷院士在見到香山飯店的設計后，就陷入震撼之中，覺得這個設計和我們熱衷學習的現代建筑好像不是一個東西，后來他才知道實際上當時在國際上正在流行后現代建筑運動它強調歷史主義和地方文脈，這件作品是受到后現代建筑運動的影響。
總而言之，香山飯店雖然在當下來看仍不失為一流的現代建筑，如果是普通設計師的手筆，倒是值得大夸特夸，但在貝老的作品里卻算不得優秀，只能說是及格線以上。
那么，到底該如何進行修改呢？林樓看著總平圖陷入沉思。