他沒想到的是，四年級劃分時，清華營建系已改為純工科的建筑系，沒有了建筑史。他被分到工業建筑，畢業后分配到中國科學院土木建筑研究所。幸而1956年9月中科院與清華建筑系合辦建筑歷史與理論研究室，梁思成任主任，傅熹年被所在單位派到這個研究室工作，得以回到母校清華。他以為終于實現了研究中國建筑史的夙愿，但命運再一次捉弄了他。
反右運動中，因一些私下閑談被人揭發，他被劃成右派，1959年春下放建筑工程部的北京南口農場勞動。
說起這次下放，他只淡淡地說工作是“放牛、養豬、種老玉米”。他覺得自己很厲害的是給母豬接生，十個八個呼嚕一下子就生出來了，“挺好玩的”。下放的近兩年里，他抽空反復通讀了帶去的《資治通鑒》和宋《營造法式》。
1960年10月，他摘掉了右派帽子，返回單位。反右后，建筑歷史與理論研究室已被清華撤銷，經梁思成聯系，傅熹年等非清華人員調到了建筑工程部所屬的建筑科學研究院建筑歷史室。工作室的主任是梁思成，副主任是劉敦楨、汪季琦。傅熹年被編入民居研究組，參加了王其明負責的浙江民居調查。

王其明覺得傅熹年很有鉆勁兒。他是紅綠色弱，考清華建筑系前就有意識地做“預習”，畫畫知道自己哪個顏色不準，就注意調整。她覺得，傅熹年被劃右派受打擊很大，但對他來說也算一個很特殊的成長環境，還收獲了知心的愛人。他劃右派后，要跟在文物出版社工作的女友分手，女友卻堅決不改志向，他也毫不動搖，兩個人是等他摘了帽子后才結婚的。
除了畫圖，傅熹年的文史綜合能力也有了用武之地。在協助劉敦楨編寫《中國古代建筑史》時，他開始用研究古建筑的手法來考察一些重要古代名畫。

1972年夏，國家文物局籌備出國文物展覽，將傅熹年借調回京，又給了他一次重拾舊業的機會。他畫了很多供出國展覽的圖，包括根據唐長安大明宮含元殿等遺址實測圖繪制復原圖和彩色渲染圖。
這期間，他有了重新接觸古籍的機會，得以查了二十四史中的《舊唐書》和《新唐書》。啟功的圖書也已啟封，查了《資治通鑒》。他們都發現了寫經發愿人為武則天的確切證據，英雄所見略同，彼此撫掌稱快，認為總算解決了一樁小公案。
但如果要寫成文章，當時卻頗有些“違礙”之處。因為這段歷史的背后，涉及武則天迫害同父異母哥哥致死、毒死外甥女等狠毒之事，以及她表面上孝心通天實際上卻公然污蔑自己的母親與外孫亂倫。這在當時大捧“女皇”的情況下，實無異于自尋煩惱。
直到后，編《中國法書全集》，啟功和傅熹年都覺得應該收入武則天的這篇發愿文殘段，傅熹年才寫出了這篇考證文章。因為無論如何，其中的書法之美，都不能不令人贊嘆。至今，這段發愿文殘片的照片還壓在他書桌的玻璃下。

鑒定全國公藏古代書畫
后，傅熹年結束了多年的漂泊生涯，得以回歸，右派問題也在1979年“改正”。但是，他仍然不能心無旁騖地搞，因為，80年代，他又“跨界”成為了中國古代書畫鑒定組成員。
全國古代書畫鑒定工作早開始于60年代初。在周恩來的指示下，文化部文物局組成了鑒定小組，張珩為組長。張珩于1963年病逝，不久“文革”開始，這項工作就完全停頓了，直到1983年，才在谷牧的批示下重啟。當時決定，由中宣部下發文件，將鑒定全國公藏古代書畫作為一項國家任務下達。
1983年8月，中國古代書畫鑒定組正式在北京成立，上海博物館顧問謝稚柳和北京師范大學教授啟功任組長，謝辰生代表文化部文物局負責協調工作，組員有故宮博物院研究員徐邦達、遼寧省博物館副館長楊仁愷、故宮博物院研究員劉九庵，以及當時在中國建筑技術發展中心建筑歷史研究所任研究員的傅熹年。
傅熹年是在啟功、徐邦達和謝辰生的聯合推薦下進入這個組的，全組七個人中，六人都是七十往上的老，只有他是50歲的“小字輩”。

這是他次目睹此畫實物。他注意到，位于畫幅右上方的款識“吳興趙孟頫”筆法滯澀，且從構圖上看畫幅右方頗顯局促，因而認為畫作并非趙孟頫作品，而是經過了剪裁，作者原款被裁去，“趙孟頫”的名字是后來添加的。
因為全國需鑒定的書畫作品很多，當時商定，鑒定組采取不爭論原則，將不同意見作為附注標注。謝辰生只負責協調工作，啟功沒有參加這次鑒定，參加的5個中，徐邦達、楊仁愷、劉九庵3人同意這個意見。后的鑒定意見為，該畫為元人作品，但非趙孟頫所作。
鑒定組在沈陽工作時，也發生過較大爭論，尤其是對一些畫的年代分歧很大。
1986年后，徐邦達實際上不參加鑒定了，啟功也經常不來，劉九庵和傅熹年不得不負起主要責任來，大量的反對意見都是他們倆簽署的。
傅熹年說，并不是每一位都堅持自己主持收購的書畫為真，徐邦達就很大度，他替故宮收進的字畫，如果鑒定組認為是假的，他也認賬。

鑒定工作結束后，傅熹年偶然翻閱舊筆記，起了對《百尺梧桐軒圖》加以考訂之心。因為這幅繪畫之精雅、題詩諸人的聲名之煊赫都給他留下了深刻的印象，為什么一幅偽作卻會有七位同時代名家為它題跋？
通過研究題詩的內容和題詩的時間地點，他判定，畫上的梧桐軒主人應是張士誠之弟張士信。當時張士誠以富庶的平江（蘇州）為中心割據江浙11年之久，在遍布全國的元末起義烽煙中，這里成了一個文學藝術盛的孤島。傅熹年認為，畫的作者應是當時居留在平江的一位名家，其畫風受到趙孟頫的影響。張士誠兵敗身亡后，收藏者不得不裁去原款，偽托趙孟頫所作，實是為了將畫作保存下來而不是為了欺世盜名。因此，此圖雖非出自趙孟頫，也有特殊的歷史和藝術價值。