對於臺灣都市環境的改善,後藤長官先在明治 31年(1998)成立台北和基隆市區計劃委員會,開始基隆和台北的整建。
隔年,即頒佈台北「市區計劃」,做為台北市重建依據。他首先拆除台北城牆,並利用城牆遺址,在今忠孝西路位置上,闢建寬 45公尺,兩旁植樹的3線大道。同時考慮臺灣的氣候,時有驟雨,故要求街市建築要有「亭仔腳」(騎樓)。此外,為改善過去住宅陰暗、潮濕與惡臭,他頒佈臺灣首部建築法令,「臺灣住宅建築規則」,與「臺灣污物掃除規則」,傾力都市環境的改善。
對於都市的改善,除台北實施「市區計劃」外,按著年代順序,另有明治 33年(1900)台中市、明治 35年(1902)嘉義市、明治 38年(1905)新竹市、以及明治 39年(1906)彰化市等的市區計劃。而台南、高雄、屏東等地的市區計劃,因進行下水道工程故實施較晚,分別於佐久間總督任內,方才發表。明治 41年(1905)高雄市,明治 44年(1911)的台南市,以及遲至大正2年(1913)才發表的屏東市都市改正計劃,都使臺灣的都市建設從此煥然一新。而後藤新平發表的「台中市區計劃」,就已準備將台中市建設成一個大都會的構想。
舊有的都市,原都以擴大道路,兩旁退縮拆除前面建築或新建建築為主,不料許多新造建築仍為土埆厝。明治 44年(1911)颱風來擊,使得台北舊有土埆厝損毀嚴重,總督府趁此機會,頒佈革命性的「都市改正計劃」著手台北市重建,許多重要建築物都以紅磚造,頂著日式屋頂,表面再冠以文藝復興巴洛克式。有些建築物甚至也引進了歐洲的混凝土造,使與紅磚面調和,成為極富美感的建築。像完成於明治34年(1901),大正 2年(1913)重修的台北賓館,以及在該年完成的台中州廳、台南州廳,大正 4年(1915)完成的博物館,以及大正8年(1919)完成的總督府,都是此時期有名的代表作。
這些都市改建計劃及法令的頒佈,隨著各地統治的穩定,在西部沿線各個市街上由北往南實施。
昭和 10年(1935)臺灣發生「清水大地震」,幾乎該災區所有的磚造建築全倒塌,為此公家建築改採以較堅固的混凝土造,使得修飾混凝土的洗石子、磨石子及斬石子大行其道,成為當時特徵。高等法院、台南及嘉義火車站成為當時的代表作。
至於臺灣進一步的鋼骨造建築,像台北中正堂、行政院等都是昭和統治後期完成的建設。