楊聰三人來到少室山下，只見少林寺三面臨壑，背靠五乳峰，東臨太室山，西是少室山上的萬丈懸崖峭壁，前面的少溪河似一條玉帶繞寺而過，遠見香菸繚繞，梵音嫋嫋傳來，真乃絕妙聖地。楊聰三人來到山下投遞了名貼，便有僧人引三人上山，這上山之路也是戒備森嚴，每一處險要之處均有僧人把守。
少林寺最早建立於北魏太和十九年，是孝文帝爲天竺高僧跋陀修建的住錫之地，南朝劉宋末年，南天竺國秀玉王的兒子菩提達摩放棄王位的繼承權，師承古天竺禪宗二十七祖般若多羅，學習佛教禪宗之法，禪宗主張坐禪“壁觀”，面壁沉思，姑息衆念，領悟禪理，後來他便成爲禪宗二十八代傳人。菩提達摩於北魏孝昌三年從天竺來到中原，他四處雲遊四海，最後來到少室山下，見此處羣山蒼翠，峰巒起伏競秀，於是便在少室山半山腰的一個天然山洞裡面壁十年，參禪悟理，終於參透了佛教的禪理，便在此修建寺廟，開山收徒，宏揚佛法，他也成爲了少林派的開山祖師爺，少林寺也成了禪宗的祖庭。菩提達摩就成了少林派的達摩老祖，他參禪的山洞便叫達摩洞，他最初建立的寺廟後人便稱爲初祖庵。
達摩老祖最初收了四個弟子，其中得他衣鉢的弟子叫彗可，又稱禪宗二祖，彗可俗名叫姬光，他爲了向達摩老祖求佛法，千里迢迢來到少室山拜師學藝，達摩老祖開始時並不理會他，彗可於是在大雪天立在洞外，經過了一天一夜，雪深過膝蓋，達摩老祖仍然不答應他的要求，於是彗可自斷左臂，以表示學佛法的決心，達摩老祖見他心誠，便將他從天竺帶來的袈裟和飯鉢傳授於他，賜名彗可。這就是後來“立雪傳經”、“斷臂求法”、“衣鉢真傳”三個典故的來歷。
彗可之後是三祖僧璨、四祖道信、五祖弘忍，五祖以後禪宗分爲南宗和北宗，當時禪宗五祖弘忍門下有弟子一千多人。一天，弘忍召集門徒說：“佛門弟子應以超脫生死爲人生大事，你們誰能用偈語以世間之福把人們從人生苦海中解救出來，我就把衣鉢傳給他。”他的弟子們苦思冥想，也想不出來，只有他的大弟子神秀偷偷在牆上寫了一首偈頌：“身是菩提樹，心如明鏡臺，時時勤拂拭，莫使有塵埃。”但此偈語還沒悟到佛的本意，弘忍並不滿意，叫他繼續思考，但神秀苦思冥想，再也想不出更好的來了。又過了幾日，有人針對神秀這首偈頌寫了一首新的偈頌：“菩提本無樹，明鏡亦非臺，本來無一物，何處有塵埃！”這首偈頌才真正道了出佛的本意，弘忍大是讚賞，但不知道是誰所做，他經過幾經周折，終於查出是一位叫慧能僧人所做。
這慧能只是一名舂米劈柴的小僧，並沒有讀過佛經，也沒有聽過佛法，卻能悟出佛的真諦。弘忍大爲稱奇，於是偷偷爲慧能傳授金剛經，並把達摩佛祖的衣鉢傳給他，令他連夜出走，到南方的國恩寺弘揚佛法。後來慧能便成了禪宗六祖，也成了禪宗南宗的創始人。慧能因爲當年弘忍傳衣鉢給他，引起了許多糾紛和爭鬥，他死後，便不再傳衣鉢給弟子，而是把佛祖的衣鉢藏了起來，於是禪宗衣鉢便只傳了六代。