總督府圖書館設館之初，曾假艋舺（即今萬華）祖師廟為臨時辦公室，其建築、設備方面皆比較簡陋，到了大正4年（1915）6月14日，遷至臺北城內書院町彩票局新址；廳舍為煉瓦（紅磚）起造二層方形洋房一座，二樓充作書庫，一樓則供閱覽、辦公和會議等用途，另一樓房後有兒童閱覽室；大正8年度其館舍分配如后：

建地面積：1292.73坪

館舍坪數：794.07坪，其中包含

閱覽室：268.90坪

書庫：311.94坪

辦公室：28.41坪

其他：184.82坪

及至昭和15年（1943）三月，該館建地面積約1,300坪，館舍面積已擴增為867坪，而閱覽室面積也擴充為237坪；大正15年（1926）三月底之閱覽席數共計有358席，其中包含：

 普通席：150

 婦人席：24

 特別席：12

 新聞雜誌席：34

 優待席：8

 兒童席：130

及至昭和18年（1943）年三月底之閱覽席數共計422席，其中包含：

 普通席：186

 婦人席：24

 特別席：16

 新聞雜誌席：44

 優待席：8

 兒童席：144

其館舍配置分布情形，在總督府圖書館之經營策略上，關係著圖書館未來的發展；因此，總督府圖書館利用在管理上之便，重新配置館舍空間，以供民眾閱覽。

總督府圖書館在創設經營二十年間，鑒於時勢的需要，館舍之腐朽及藏書已達到飽和狀態之下，於昭和10年（1935）提出新建圖書館之計畫，其圖書館新建理由書如下：

1. 現在的館舍係於明治39年所建造，作為彩票局舍。爾後充作圖書館以來，在管理上，使用上及對閱覽者造成諸多不便

2. 本館藏書包含一般參考書，通俗圖書及古今珍貴的台灣資料和南洋資料，約14萬冊，價值甚大，而日本內地圖書館所藏此書甚少；因此，東京、京都兩所大學經常來館作專門研究，而本館書庫並無防火設備，如遇火災，不堪設想。

3. 閱覽席狹隘，容納的閱覽人員有限，然而普通閱覽室原150席增加到180席位，仍無法滿足民眾的需求。

4. 圖書館之三大要素：職員、圖書、建築物，然而這三要素總督府圖書館仍無法達到要求標準，使圖書館的機能無法發揮到預期的效果。

由於以上緣故，彩票局所設計之建築，不適合充作圖書館，無防護書庫安全設備、閱覽席空間狹小，對於本館服務的目的及效能，實感憂慮。

昭和3年（1928），總督府獎勵及振興本島圖書館事業，各地方都有新設公私立通俗圖書館，如新建之臺中州立圖書館、新竹州立圖書館等，本館是全島唯一的參考圖書館，並且也是圖書館的中樞；因此，新建總督府圖書館因趨勢需要，充分發揮圖書館功能、輔導全島圖書館事業，發展振興社會教育的新紀元。

新建總督府圖書館，建地坪數總計1500坪，所需經費竟高達108萬日圓。此金額在當時來說，非常龐大，總督府當局鑑於此，非常謹慎加以考慮，經過多次研究與討論，此一提案無法通過，以致於流產。

爾後因圖書驟增，本館書庫無法容納更多的圖書，利用樓下走廊，靠壁之處放置書架；另外在特別閱覽室區，劃一部分放置書架充作書庫，以每年採購四千至五千冊圖書，實在無法設置書架，來存放增加之圖書。總督府圖書館為了因應緊急對策，於昭和14年（1939），提出新建圖書館兒童室的計畫，於昭和15年（1940）預算通過，開始在本館前庭，建造72坪的木屋，作為兒童室圖書收藏及閱覽的場所，原館內之兒童閱覽室充作書庫，以疏解日益增加的圖書。