文庙也称“孔庙”。昔日桐乡城内的孔庙始建于明宣德五年。桐乡设县后,城之东北隅原徐姓“文思院”旧址,草创孔庙。
桐乡城内的孔庙坐北面南,四周环水。越河对岸,建有“百照墙”。石基高三尺余,上用水磨青色大方砖镶砌,墙高一丈,长三丈有余,两旁有侧墙相连,成“八”字形。
文庙东靠学桥浜,浜上架有“登雀桥”连通庙区内外。桥东沿曲径通学桥到达外街。桥西堍有四柱石牌坊一座,上书“高瞻圣域”四个凿石大字。旁立石碑一方,刻有“军民官臣等至此下马下轿”。桥北通大成殿,门上悬有“文庙”两字匾额。据传,全国各州县的文庙,大多数只供神位,而像山东曲阜的孔庙那样能供泥塑彩色立像的,全国仅3处半,桐乡的文庙是其中之一处。
清同治十二年,桐乡文庙遭飓风袭击,桥东“高瞻圣域”,“直上云衢”两石牌坊被吹倒,石柱皆断。抗日战争时期,日军进犯桐乡,文庙内曾一度驻有日军宣抚班,致使庙内破坏甚多。新中国成立后,桐乡县立初级中学(即桐乡一中前身)搬迁至儒学旧址,仅存的孔庙大成殿屋壳成了县中礼堂。后因大成殿栋梁为白蚁蛀蚀,出于安全考虑,大成殿被拆除。至此,桐乡文庙遗迹彻底消失。
旧时,有文尊孔子、武崇关帝的习俗,所以一般有规模的城镇都建有文庙(孔庙)和武庙(关帝庙)。梧桐镇上也很早就建有武庙,地点就在如今的鱼行街最西端处,原桐乡第一百货商店的店址上。当时的武庙内供奉有关帝菩萨,旁边还有给关羽扛大刀的周仓和随关羽四处征战、一同殉难的义子关平塑像。
由于桐乡人崇文者多,尚武者相对较少,所以历来关帝庙香火不旺。据传抗战时期,日军飞机曾来扔过炸弹欲炸毁武庙,不料武庙没有炸着,反倒把武庙边上的一家药店给炸了,一时间,民间认为是关帝“显灵”,致使炸弹扔偏了。解放后,为破除迷信,武庙内的关羽塑像被搬走,武庙也改成了政府开会的大礼堂。上世纪80年代初,武庙被拆除后在旧址兴建起桐乡第一百货商店。目前,尽管武庙早已不存在,但临近武庙遗址的那条老街仍然保留“武庙街”的称呼。