渡会大师年轻时候就是个武痴，武学进境极快。而且他不甘寂寞，26岁就打出木人巷下山俗世修行。那时候渡法大师还在读佛经练少林低级武功。

说是俗世修行，其实是闯江湖去了。渡会性情豪爽，与各路豪杰以武论交，不过数年，便成为当时江湖上有名的“初唐四杰”之一。（大师你为啥要出家的？）