自古庙宇，不计其数，多以佛道神圣尊讳为名，可是，此庙为什么唤作“好汉”呢?
传说汉武帝刘彻，好兴土木，建章宫修成后，宫中妃嫔宫娥众多，浆洗一次衣衫，多如彩云一般。刘彻发现这一情况，便下令修建曝衣阁。于是，征集民夫数千，限期完工。
此阁虽只晒衣，却也宏伟雄壮，为了修得高一些，须先筑起高大的地基。常言道：“寸土难移”。建筑这一高台，已经很不容易，而限期又紧，责罚又严，老百姓更感到受不了。大伙拼死拼活，却也只有一担土一担土垫，一夯一夯地打，快也快不了多少。就在这限期将到的当儿，一天黄昏，只见一个彪形大汉，肩挑两笼土，忽闪忽闪，来到工地。大家一看，却不认识，正待发问之时，那汉也不答话，翻倒担笼，将土倒在基地上，堆成了两个小土疙瘩，然后笑着对木伙喊道： “大伙放心歇着去吧，明日我保证这阁台平地立起。”说罢，啥哈大笑一阵，扬长而去。大伙一听一瞧，嘴上没说啥，心里都暗暗地说： “疯子I指望你这一担土，顶个屁用。”当日各自收工，自不待说。
第二天清早，人们急急来上工。走进工地，人们一下呆住了。原来昨日黄昏，那大汉倒下的一担土，一夜之间，竟变得跟两座小山似的。民夫们呆了半晌，一下子欢呼起来，齐齐地叩头作揖，说是天神下凡助力来了。此时，急忙寻那大汉，早不知那里去了。为了纪念这不知名的大汉，便把那两座土台，一座起名七星台，一座起名叫无量台，并于七月七立会，修建庙宇，祭奠大汉。从此，好汉庙和这天的会，便流传下来了。
