“祠堂”这个词语最早出现于汉代，但是，祠堂这种性质功能的建筑，出现于远古社会末期，父系氏族时代。 祠堂是儒家祭祀祖先或先贤的场所，汉代董仲舒“罢黜百家、独尊儒术”后，“祠堂”成为早有的祭祀场所的名称。但是，这种具有祭祀功能的建筑，绝非汉代才出现，早在远古社会末期，父系氏族时期，部落里出现一种公共场所的建筑，这种建筑的功能是祭祀和祈求，兼有占卜、庆祝和重大决定功能。它不是一般部落会议的场所，因此平时严格封闭，由巫人、祭司等专门神职人员管理，其他人仅仅活动日齐聚于此。这个集族权、神权于一体的建筑，就是最早的祠堂。只是当时不叫这个名称。

祠堂里的先祖画像起源于古代人对先祖的祭祀，不过那时还没有画像，而是用活人代替的，这个代替祖先的人就叫“尸”，它的具体起源年代无法考证，但至少可以确定是在汉字起源以前，汉字中有很多带尸字头的字就是证明。画像具体起源于哪个朝代现在也没有明确的定论，但尸祭在战国时期就逐渐废除了，至秦始皇时尸祭已完全绝迹，取而代之的是祖宗牌位，宫廷画像始于汉朝，兴于唐宋，但没见到把先祖画像陈列到祠堂里的记载，这个的传统儒学也不允许这么做，把祖先的画像挂到祠堂里供奉是受到外来民族影响的结果，我认为把先祖画像供奉到祠堂里应该是清中期以后的事。

"祠堂"这个名称最早出现于汉代，当时祠堂均建于墓所，曰墓祠；南宋朱熹《家礼》立祠堂之制，从此称家庙为祠堂。当时修建祠堂有等级之限，汉族民间不得立祠。到明代嘉靖"许民间皆联宗立庙"，后来倒是做过皇帝或封侯过的姓氏才可称"家庙"，其余称宗祠。