飾東郡に所属。姫路城南西の外堀のすぐ南。飾磨門（飾磨口）の南に位置する南北の町筋。外豆腐町として飾万津町２０町に含まれ、飾万津の町奉行の管轄とされていた。中世は南畝村のうちで、町の形勢過程は谷町と同じ。慶安２年ー寛文７年（１６４９～６７）の姫路城下侍屋敷新図には外堀の南は描かれていないが、飾磨門の北に内豆腐町がみえることから、外豆腐町の存在を推測することができる。元禄８年（１６９５年）写の姫路城図には「とうふ丁」がみえるが、元禄１７年（１７０４年）の姫路城城下町数飾万津町数覚（伊藤家文書）に外豆腐町・内豆腐町が記される。元文５年（１７４０年）の外豆腐町の地子銀高は２８１匁余で、内豆腐町は姫路城下の加納町となっている（姫路町飾万津町地子銀控）。寛保２年（１７４２年）写の播州姫路図（姫路城管理事務所蔵）にも加納町が記されるが、外豆腐町はしだいに豆腐町と称するようになったようで、文化１３年（１８１６年）以前の姫路城下侍屋敷図には豆腐町とみえる。弘化４年（１８４７年）には外豆腐町として人数１１４・寵數３１（うち本組２２・店組１９で合計合わず）であった（「飾万津中明細覚書」藤田家文書）。
明治８年（１８７５年）、谷町・忍町・宿村・芝原村・南畝村・南畝町と合併して豊沢村となる。（兵庫の地名Ⅱ）
藩政時代。飾磨津門の外側に立地していたので、行政的には飾磨津の町奉行の支配下となっていた。飾磨津門の内側を内豆腐町と称していたのに対し、飾磨津門の外側のため外豆腐町と称し、明治初年まで続く。本多忠国時代（1682年～1704年）、豆腐の職人が豆腐町と称した。明治８年（1875年）、県の行政簡素化政策に伴い、豆腐町を始め、忍町・南畝町・宿村・芝原村等を合併し、豊年澤山の義をとり豊澤村と呼称した。
明治２２年（1889年）、市町村自治制施行にあたって、豊澤村・北条村・南条村・庄田村の四ヶ村が合併して、国衙荘の名をとって国衙村と称した。旧地名の豆腐町は字として存置した。このように豆腐町は国衙町の村域に入ったわけである。
明治４５年（1912年）４月１日、国衙村は圀府寺村・神屋村とともに姫路市に合併し、旧豊澤村は芝原村を除いて姫路へ編入されたので、豆腐町・忍町等が旧町名を復活し、姫路のまちへ仲間入りするわけである。なお豆腐町の小字には水田・万燈が残っている。
明治２１年（1888年）に山陽鉄道、明治２８年（1895年）に播但線のいずれも開通、機関区・鉄道官舎等の設置によって町は漸次発展していく。
大正１２年（1923年）、豆腐町踏切に国鉄線往来の増加に大跨線歩道橋が敷設された。戦時中、金属回収の国策に沿って撤去されるまでは町の名物となっていた（※戦後の写真にこの歩道橋が写っている。戦後仮駅のホームとホームを繋ぐ架橋に転用されたという）。
戦後は主食・食料品等の自由市場となり、また「南地」等の密集飲食街ができるなど、異常な活気を呈した。
昭和４１年（1966年）、モノレール軌道の開通に伴い、大将軍駅までの幹線道路（高尾線）が町内を東西に貫通し、町並みが近代化された。
昭和３７年（1962年）、自治行政の規模適正化により、駅前町・久保町の各町の一部が繰り入れられ自治組織が拡大された。
姫路機関庫
明治２１年（1888年）、神戸～姫路間の鉄道が開通し、駅舎・機関車庫等が豆腐町の町内に建設された。明治３６年（1903年）、煉瓦造りのトンネル型車庫が建てられ、１０台の機関車が回転台によって出入りできる大規模なもので、戦災にあうこともなく存置されたが、国鉄の電化に伴って廃止された。
豆腐町駅
明治２８年（1895年）４月、播但鉄道株式会社によって、姫路～飾磨間が開通したが、同３１年（1898年）４月、飾磨行専用駅として、簡易停車場を設けられ、通称豆腐町駅として利用者に馴染まれた。明治末期の汽車賃は姫路～飾磨間３銭、亀山～飾磨間２銭であった。特に夏は飾磨海水浴場行の一般客・学生・児童で活気を呈していたが、昭和初年、駅は廃止され、本駅舎内に移転した。（「ふるさと城南ものがたり」昭和５８年刊）