隋朝末年，隋将王世充的侄子王仁则（于承惠 饰）在督建河防工事时，杀死了起来反抗暴虐的神腿张，但令其儿子小虎子跳河逃离虎口。小虎子被少林僧人救起收入寺中后，为报父仇毅然削发为僧，法名“觉远”（李连杰 饰）。
王仁则的侍卫长遇见牧羊女白无瑕（丁岚 饰）后垂涎其美色，强行将其 抢回府并欲酒 后施暴，恰巧被只身前来报仇的觉远发现。在救白无瑕逃生的过程中，觉远因武功欠佳被王仁则刺伤，促使其回到少林寺后更加刻苦练功。后因觉远救援被王仁则追赶的李世民，少林寺遭遇劫难，觉远身上的责任更重一层。