該館為臺灣地區歷史最悠久、藏書最豐富、定制最縝密、變動最頻繁的公辦圖書館，營運目標以服務社會大眾、保存地方文獻、促進學術研究及輔導臺灣地區公私立公共圖書館為職責。其前身係日治時期「臺灣總督府圖書館」，於大正3年（1914）4月14日，日本政府敕令第62號公布以「臺灣總督府圖書館」為官制，11月在艋舺（萬華）清水祖師廟內設立臨時事務所，籌備開館事宜。大正4年（1915）6月，首任館長隈本繁吉（1915-1916）遷館於臺灣總督府左後方（博愛路與寶慶路口，今博愛大樓）之舊彩票局內辦公，同年8月9日正式對外開放服務。

民國34年（1945）原館全燬於戰火，臺灣光復，「臺灣總督府圖書館」形式上由臺灣省行政長官公署接收，次年（1946）又合併日人「南方資料館」成立「臺灣省行政長官公署圖書館」（簡稱臺灣省圖書館），初由范壽康（1945-1946）擔任館長。

民國37年（1948）5月，吳克剛（1946-1955）館長任內奉命改屬臺灣省政府教育廳，更名為「臺灣省立臺北圖書館」，該二時期皆借用省立博物館（館前路、襄陽路口）一樓營運，受限於空間狹小，第九任館長王省吾（1955-1965）於八德路、新生南路口建造新館舍一、二樓，續任館長劉效騫（1965-1967）、韓寶鑑（1967-1969）逐次完成第三、第四樓層，民國62年（1973）7月1日，於第十二任館長袁金書（1969-1973）任內向行政院申請改隸教育部，遂改稱「國立中央圖書館臺灣分館」迄今。