胡述兆先生來臺後，曾在軍中服務一短時期，又繼續求學。在他讀政大博士班期間，國民大會正好成立編輯科，徵科長人才，他們的條件是要一位懂憲法，學法律、政治及有高考資格的人，胡述兆先生在當時是唯一合於這個條件的人選，在研究所推薦下，休學一年，到國民大會任編輯科長。政大畢業後於一九六二年赴美留學至一九八三年回國前後二十餘年。在此期間曾在哥倫比亞大學與佛羅里達州立大學圖書館服務，一九六七年應聘至賓州聖佛蘭西斯學院（後改為大學）任教，自講師、助理教授、副教授至教授長達十六年之久。

一九八0年應邀回國任臺灣大學圖書館學研究所首任客座教授，行政院國科會客座研究教授及國立政治大學政治研究所博士班兼任教授。一九八三年再度應臺大之聘，出任該校圖書館學系、所主任，並籌設我國第一個圖書館學博士班。

一九八八年辭卸行政職務，專任臺大教授，並應聘擔任國立編譯館「圖書館學與資訊科學大辭典」總編輯。在此期間，曾任中央研究院美國文化研究所研究員、行政院文化建設委員會評鑑委員、教育部留學考試委員、考試院高等考試典試委員、教育部圖書館事業發展委員會委員、中國圖書館學會常務理事、理事長、中華圖書資訊教育學會理事長等。胡述兆先生為Beta Phi Mu及Phi Tau Phi兩個國際榮譽學會的會員並已列入中外二十餘種名人錄中。他曾當選臺大教學特優教授，獲頒教育部大學教科書優等獎及國科會優等研究獎。

一九九七年胡述兆先生自臺大榮退，臺大聘為名譽教授，在臺大退休教授群中，此是少數難得的殊榮。退休後他仍退而不休，繼續指導學生做研究，為臺大圖書資訊學研究所博士班導師；仍努力兩岸文化交流，去大陸訪問講學，前後應邀為華東師大、武漢大學、南昌大學及湘潭大學客座教授。一九九九年又應北京大學及武漢大學之邀講授「圖書資訊學研究方法與論文寫作」，他以西學中用，引進西方科學研究方法指導博、碩士班學生，甚受歡迎。