明治３７〜３８年（１９０４〜１９０５年）の日露戦争のあと、武道奨励から武徳殿設置の世論が盛り上がり、当時の姫路警察署長海江田権蔵ら有力者を中心に１万２千円の浄財により藩用監獄趾に明治４０年（１９０７年）７月起工、半年余で完成した（１月１日落成）。木曽御料林からの払い下げで総桧造りであった。階下は柔剣道の道場で周囲は一段と高く観覧席になっていた。二階は百数十畳の大広間で催し場となり、商店の陳列会・展示場・講演会等に使用され、昭和６年（１９３１年）に現在の市民会館の前身である市公会堂が建てられるまでは広く市民に利用され交流の場ともなった。
武徳殿の南側は姫路城の外堀であったが（現在の大蔵前公園）、その土塁を登って武徳殿の北側にあった城南小学校へ毎日通ったものだと古老は懐かしむ（白銀町網川たみ談）。武徳殿と隣接して昭和８年（１９３３年）より常設消防署と火見櫓が設けられていた。昭和２０年（１９４５年）７月の大空襲で焼失し、戦前の人々に親しまれた建物は記憶の彼方へ消え去ったのである。（ふるさと城南ものがたり・昭和５３年刊）