上个世纪七十年代末期，中国刚开始改革开放，而这时候为了接待越来越多的国际友人就需要建设一座国际性的大饭店。而这时候由于国内文革刚刚结束，建筑方面的杰出人才基本没有，因此这座饭店的设计就成了一个问题。
但是巧的是这时候，这时候贝聿铭回国探亲，就是贝聿铭快要回国的时候，接到了中国政府的邀请，设计这座饭店。
这对贝聿铭是一个全新的领域，也是一个新的尝试，因为在以前贝聿铭都是以设计西方建筑而闻名，而在北京古城里设计一座饭店，既要体现自己所学，又要有中国特色。这对贝聿铭来说，有一定的难度，但是他还是接下了这个任务。
贝聿铭知道这个任务不仅仅是一个简单的建筑设计，更是一些国际友人到中国来第一眼看到中国的影响，因此既要体现中国古老的特色，还要体现中国现代化的发展。
经过考察，贝聿铭认为，这幢饭店必须把中国建筑艺术的精华和外国建筑的特色结合起来。比如中国园林建筑和民居中院落与室内空间不可分割的相互渗透，园林建筑中观赏路线的布置使人感觉到从幽静僻静到豁然开朗的强烈对比等这些优秀的建筑手法，都应该继承下来。
贝聿铭对这座饭店倾注了大量心血，如果按他通常的做法，把想法告诉设计助手后，他就开始构思别的建筑了，只是定期回来评估助手们的工作进展，把情况告诉客户。但这座饭店是他对新中国的理解和表述，因此需要他亲自操刀设计。助手们很惊讶地看到，贝聿铭在露天的工作室中整天手握铅笔在设计桌上沉思默想。设计师卡伦?范?兰根说：“在建筑这座饭店的两三年时间中，他每隔两小时就会带着图纸和立面图到我桌边来。我们的工作时间特别长，他非常执著。”
经过近三年的设计，终于设计完工了。贝聿铭把饭店设计图交给了建筑方。建筑方很快就开始动工了。
就在动工几个月后，贝聿铭去视察饭店的进度，让贝聿铭意外的他发现建筑方把他的一些设计理念更改了。后来经过贝聿铭和建筑方的交涉，这些意外的更改，被改正了过来。但是这时候，也有好多人指责贝聿铭设计崇洋媚外。
就在饭店快要竣工的时候，贝聿铭又去视察，这时候他发现他设计的饭店前面的小广场被更改了。贝聿铭本想再次和建筑交涉，但是考虑到中国刚刚开始改革开放，并不一定能接受外国的一些建筑思想。因此贝聿铭再没有同建筑方交涉。而他的建筑理念也被更改了。
后来饭店竣工了。这座饭店就是北京的香山饭店。但是，这座建筑并没有因为是设计师是贝聿铭而像贝聿铭其它的作品一样辉煌，甚至没有多少人知道他的设计师是贝聿铭。香山饭店成了贝聿铭设计生涯的败笔。
大师的高度并不是在名声的高低，而是当外界同自己的才华发生冲突时的不妥协，贝聿铭设计过的其它的作品在刚开始同样遭到了不少人的否定，但是贝聿铭没有妥协，后来经过几年、十几年的发展，他的作品都成为了地标性的建筑。在贝聿铭后来的自我介绍中，他很少提到香山饭店，无疑这是他设计生涯的一个败笔。