明万历十一年(1583)，嘉兴知府龚勉在修建烟雨楼时，建造了一座以供奉观音菩萨的大士阁，并列入了“瀛洲胜境”之一。从此烟雨楼不再单纯是一个游览之地，而多少披上了宗教迷信的外衣，与和尚结下了数百年的缘份。“大士阁”在楼前，坐南朝北，面对城墙。在顺治抗清战役中与烟雨楼同时被拆毁，后未知如何进行重建，没有资料可查了。到清乾隆年间，烟雨楼中又有“大士殿”的记载，而殿址不在楼前而在楼侧了，可能是在改建凝碧阁时迁来的，殿上匾额名“小普陀”。褚凤翔《禾事杂吟》诗注云：“烟雨楼侧有大士殿，额名小普陀。禾俗三月三日，妇女争出踏青，鸳鸯湖上，游船鳞比。”嘉兴风俗，清明日农村妇女出门踏青，到烟雨楼大士殿烧香，然后准备养蚕种田，故而香火极盛。太平军之役，大士殿与楼再次被毁。到同治十三年(1874)由精严寺和尚贵诚，在紧靠亦方壶处，重新建造“大士殿”，成为精严寺的下院。精严寺派了和尚管理香火，并担任洒扫亭园等杂事。大士殿原有庙产田一百六十余亩，大概是龚祠遗留下来的，这笔田产当大士殿建成后，也由精严寺和尚掌管了。

贵诚是嘉兴精严寺方丈，能书写擘窠大字，还擅刻印章。他的师父济延没有向外募化，竟然在太平天国失败后，建造了一座“堂宇宏敞，结构完固”的精严寺，真是出人意外之事。有人说他得了太平军的藏银，所以能再建精严寺。光绪二年(1876)，彭慰高《精严寺同戒录引》云：“济延悃幅无华，乱后力图兴复，十数年铢积寸累，殚竭心力，不劝募于人而顿成巨观，亦异矣。”可知他不向社会募化是事实了。当时有人传说济延本人是太平军，失败后埋伏在此，准备重兴，恢复天朝。僧徒均是他的同志。后来知道没有复图大业的希望，故而建此精严寺以藏身，贵诚即是其中的一个。但不知此传闻是否属实，无法查考了。

烟雨楼中的和尚，自从万历间建造大士阁以来，直至民国初年被撵走为止，三百多年没有间断过。

在这二三百年间，有不少诗人的作品提到烟雨楼和僧人，似乎这些方外之人的存在，给烟雨楼平添了参禅的意味。这些诗人及作品较典型的有明代屠隆《烟雨楼》诗，明遗民李天植《午日登烟雨楼》及崇祯间沈机的《烟雨楼小集》诗等。

清代文学家沈复和其父曾应嘉兴刘蕙防之邀，来游南湖烟雨楼，沈复在他的名作《浮生六记》“浪游记快”中写到：“烟雨楼在镜湖之中，四岸皆绿杨，惜无多竹，有平台可远眺。渔舟星列，漠漠平波，似宜月夜。衲子备素斋甚佳。”这是清乾隆年间的事，可知那时烟雨楼的和尚不但专事接待游客，还烧得一手好素撰。 

民国以后，嘉兴成立了县自治会。决议废除烟雨楼的观音塑象，把庙中的田产收归公有，赶出精严寺派来的和尚雨楼，从此烟雨楼虽然还保留观音象，但与和尚却永远脱离关系了。

免责声明：以上内容版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。感谢每一位辛勤著写的作者，感谢每一位的分享。