因此，悉达多又到了阿罗暹仙人处，学习“非想非非想定”。所谓“非想”，乃非一般普通心理活动的思维妄想。所谓“非非想”，就是做到虽无普通的妄想思维，但还能了然于一切。
许多人认为禅定功夫，到此地步，已属高不可攀，其实，正是落在微细烦恼的见思惑中。
悉达多提出：“非想非非想定处，是有我耶？是无我耶？若说无我，不应说非想非非想；若言有我，便非解脱。因为众生正因为有我，方生诸苦。非想非非想定中，虽然可以使粗的妄想烦恼暂停，但微细的烦恼，依旧存在。若不能舍除我相与我想，何以能达到真正的解脱？”
因此，悉达多又舍此而去。
在悉达多入山修行的日子中，他已遍访著名道者，但因没有真正明师，所以毫无收获。
当时各种修道方法，无论如何难行苦行，他都已经一一修习做到，而且极为精通。
在这期间，他的父王曾经打听到他的行踪，派遣王师大臣前来劝说，仍然不为所动，只好留下大臣等的公子憍陈如等五人，追侍太子修行，慎加保护，这就是后来释迦牟尼弟子中著名的先期五大弟子，其中以憍陈如为首座。
同时，悉达多因历访诸师，始终不得究竟解脱之道，便暂行栖止在槃荼婆山中，常入王舍城乞食度日。但城主频婆娑罗王很快地就知道了他的行踪，亲来劝请还俗，甚至愿以王位相让，可是悉达多也婉辞谢绝了。
频婆娑罗王最后只好与悉达多约定：“若成道时，愿先见度。”所以，后来悉达多成道，就常常住在王舍城，弘宣他的佛法。
这日，悉达多到了尼连禅河附近，迦耶山(即象头山)的南端，邻近雪山，聚落在苦行林中，静坐思维，修习苦行，或日食一麻，或日食一米，或复二日食一麻米，乃至七日食一麻米。由于他趺坐苦修，不经行散步，目不瞬睛，心无恐怖，变得形销骨立，须发卷乱犹如蓬蒿，被喜鹊错认作草丛，就此在他头上做起窠来；
地上芦苇，盘绕过膝。此时的悉达多，非常孱弱，俨然如衰朽垂死的人。他长时间地修此种难行的苦行，后来忽然想到这和一般认为苦行修身就是真道的作风，又有什么差别？所以他又舍此而去，独自南行。