位极人臣，最后却被饿死的严嵩，由于谣传抄家时皇帝封他为“天下都团头”，总领天下乞丐；所以在明嘉靖以后，陆续有些地方的乞丐们，就开始拜严嵩为丐神，和梁上君子们拜时迁是一个套路。

绘有严嵩像的五显寺，自然和乞丐是有关联的。

事实上不知从何时起，清泰门外的这座五显寺，就成了杭州丐帮的总堂口。正殿就是丐帮团头的公廨，平日里团头就在这里开堂审案，行刑，处理帮中大小公事。每逢初一，城内外各路堂主香主都要来五显寺拜团头，缴月规。