小王，民間傳說是西漢的蕭何，但蕭何從未立他為王。清嘉慶《上海郡誌》認為“氏對左河之興盛有重大貢獻，故郡縣多拜之”，指南朝梁王室蕭氏。
王曉寺在清代曾多次修建，清末由張道長繼承。
抗戰前，王曉廟有三個入口和兩個走廊。第壹個入口是獻給王靈官和四大元帥(馬晟、溫瓊、趙公明和關羽)的，第二個入口是主廳，獻給小王和王仲賢(劉崧勇)。第三個入口是後殿，那裏供奉著雷祖和王艷。民國26年八·壹三事變期間，大部分寺廟被日軍焚毀。民國35年，城隍廟和王留君殿重修。同時祭祀顏、判官、地藏、雷祖十殿。廟裏燒香的高峰期是農歷正月初三到十八，以十三到十六為例，附近的村子依次設祭。民國36年，住持張向榮幫助中國地下黨員在寺內創辦小廟義務小學，成為中國玉林支部地下活動點。
解放後，小廟義務小學更名為控江小學，寺觀繼續開放。1960，成立了道經懺悔錄聯絡辦公室。紙加工組成立於1965。“文化大革命”期間，宗教活動被停止。1989因市政建設需要，上海市道教協會將該寺產權轉讓給楊浦區城建局進行補償。