臺灣大學圖書館的前身，是日據時代的臺北帝國大學附屬圖書館，創設於1928年（民國17年）3月。

1945年（民國34年）8月，日本戰敗投降，中華民國政府接收台灣後，於該年11月15日自日本人手中接收臺北帝國大學，易名為國立臺北大學，12月再改為國立臺灣大學，圖書館亦隨同改隸，此即今日的國立臺灣大學圖書館。

因為臺大圖書館舊館為日治時期所建造，其設計配置已不符合現代化作業需求，於是自1982年起即有興建新館的計劃，直到1989會計年度起才逐年編列預算開始興建新館。新館於1998年11月14日正式落成啟用。