历史传说中,济公被赶出灵隐寺的原因是因为他的行为举止不符合佛教规戒,包括喝酒吃肉、疯疯癫癫,衣衫褴褛,浮沉市井,常行救死扶弱之事。这些行为被其他僧人视为违反禅门戒规,因此有人向方丈告状,要求将济公责打并逐出山门。方丈慧远曾经支持济公,但在他圆寂后,灵隐寺的僧人将济公赶出了山门。后来,济公去了净慈寺,投奔德辉长老,并成为该寺的书记僧。
公元1169年,济公的师父慧远从天台山国清寺来到杭州灵隐寺任住持,几年后,济公寻师而来,因为在那个时代,只有他的师父才能够给予他最大的宽容。在灵隐寺中,济公喝酒吃肉、疯疯癫癫,灵隐寺的和尚都很厌恶他,想把他轰出门去。慧远听说后,说了一句话:“佛门之大,竟容不下一位癫僧吗?”然而,这种宽容没能持续多久就因为慧远的圆寂而结束,很快,灵隐寺的僧人便将济公赶出了山门。