胡述兆先生從小學到高一，他的求學過程都很順利。在他讀高一時，正值中日戰爭，日本人侵略中國的野心及殘暴，使當時國人一致憤慨，政府號召「十萬青年十萬軍」，使當時青年學子熱血沸騰，紛紛加入戰鬥的行列，胡述兆先生也不例外，毅然投筆從戎，被編入青年軍208師，未幾，日本無條件投降，青年軍也隨之復員。當時從軍的青年，多為中學及大學在校學生，政府為安頓這些青年學生，在各地成立青年中學，胡述兆先生當時就進入嘉興青年中學自高二讀起。中學畢業後，考進國立中正大學化學系。

1949年國共和談破裂，掀起了內戰，政府遷臺，胡述兆先生隨學校來到臺灣，他雖讀化學系，但對化學卻無興趣，於1953年考上了臺大法律系，因此他比一般學生要遲了幾年。由於對化學興趣不大，乃轉考臺灣大學法律系，獲得學士學位後考取政治大學政治學研究所碩士班，獲得第一個碩士學位後再繼續攻讀博士學位。在政大政治研究所六年期間，受到恩師王雲五先生的啟發，對中國古藉與參考工具書引起極大興趣，此對他一生的治學研究與事業發展影響深遠。

胡教授在政大的博士論文是「美國參議院官員任命同意權之研究」，因為國內資料缺乏遭遇極大困難，他的指導老師王雲五教授建議他到美國去找資料。這使得胡教授的人生出現新的轉捩點。1962年他以自費留學的身份前往美國，一方面準備博士論文，同時在哥倫比亞大學攻讀碩士，主修美國政府，畢業後因為兩年休學期滿無法再回政大，原有意在哥大繼續攻讀政治學博士，然天不從人願，一為無錢支援，二因他的指導教授何斯曼（Roger Hillsman，甘迺迪總統時代的遠東助理國務卿）告訴他，以中國人身份在美國很難覓得教授美國政治的機會，只得放棄此念頭。由於在哥大上課時曾修習「參考服務」課程，引起他對圖書館學的興趣，其時他的夫人正在賓州維拉諾瓦大學攻讀圖書館學碩士，乃前往該校就讀，自此開始與圖書館學結下了不解之緣。

由於環境的因素，使得胡教授從政治學領域轉移到圖書館學界，在維拉諾瓦大學取得他的第三個碩士學位之後，便在哥倫比亞大學圖書館東亞部工作。不久，又到賓州聖佛蘭西斯大學擔任圖書館學講師兼編目組主任，並在政治系任課，一邊工作，一邊教學，逐步從講師、助理教授、副教授、升至教授。但當年到美國蒐集資料為完成博士學位之夢想仍縈繞於心中，故在教書期間胡教授仍繼續向邁進博士之路挑戰，先後又取得匹茲堡大學圖書館學與資訊科學超碩士、佛羅里達州立大學圖書館學高級碩士與博士。由於他擁有一個法律學士、二個政治學碩士、三個圖書館學碩士、以及一個圖書館學博士等七項學位，使他成為中國學位最多者的記錄保持人。

胡述兆先生來臺後，曾在軍中服務一短時期，又繼續求學。在他讀政大博士班期間，國民大會正好成立編輯科，徵科長人才，他們的條件是要一位懂憲法，學法律、政治及有高考資格的人，胡述兆先生在當時是唯一合於這個條件的人選，在研究所推薦下，休學一年，到國民大會任編輯科長。政大畢業後於一九六二年赴美留學至一九八三年回國前後二十餘年。在此期間曾在哥倫比亞大學與佛羅里達州立大學圖書館服務，一九六七年應聘至賓州聖佛蘭西斯學院（後改為大學）任教，自講師、助理教授、副教授至教授長達十六年之久。

一九八0年應邀回國任臺灣大學圖書館學研究所首任客座教授，行政院國科會客座研究教授及國立政治大學政治研究所博士班兼任教授。一九八三年再度應臺大之聘，出任該校圖書館學系、所主任，並籌設我國第一個圖書館學博士班。

一九八八年辭卸行政職務，專任臺大教授，並應聘擔任國立編譯館「圖書館學與資訊科學大辭典」總編輯。在此期間，曾任中央研究院美國文化研究所研究員、行政院文化建設委員會評鑑委員、教育部留學考試委員、考試院高等考試典試委員、教育部圖書館事業發展委員會委員、中國圖書館學會常務理事、理事長、中華圖書資訊教育學會理事長等。胡述兆先生為Beta Phi Mu及Phi Tau Phi兩個國際榮譽學會的會員並已列入中外二十餘種名人錄中。他曾當選臺大教學特優教授，獲頒教育部大學教科書優等獎及國科會優等研究獎。

一九九七年胡述兆先生自臺大榮退，臺大聘為名譽教授，在臺大退休教授群中，此是少數難得的殊榮。退休後他仍退而不休，繼續指導學生做研究，為臺大圖書資訊學研究所博士班導師；仍努力兩岸文化交流，去大陸訪問講學，前後應邀為華東師大、武漢大學、南昌大學及湘潭大學客座教授。一九九九年又應北京大學及武漢大學之邀講授「圖書資訊學研究方法與論文寫作」，他以西學中用，引進西方科學研究方法指導博、碩士班學生，甚受歡迎。

胡述兆先生雖讀了四個學科，但卻選擇了圖書館學為他畢生奉獻的事業，他認為「圖書館是一個國家的文化指標」，而圖書館教育主要目的在訓練各類型圖書館所需要的專業圖書館員，同時也要培養圖書館學師資，他曾說：「任何國家假如小學圖書館沒有專業圖書館員的話，這個國家就文化而言，是落後國家」，因此他認為解決我們的圖書館教育，應從最基層的小學圖書館開始，他曾常鼓勵學生念圖書館系，成為未來「建設中國文化」不可或缺的基層中堅份子，要以「燃燒自己，照亮別人」的精神，做個犧牲奉獻的無名英雄。