宋代学者吕祖谦曾在此结庐一学，后为道姑所居。明末清初，慈觉和尚游至此，将白云庵改建为寺庙。寺庙沿着白云岩腰际的一条狭长的岩罅顺势而营建，禅寺巧借山岩筑寺，与山川大地为一体，远望像灵峰峰腰间的一团白云。寺内有弥勒殿、三宝殿、观音殿、祖师坛。各殿的后一半藏于岩洞中，前一半则利用山势用杉木支架，宛如空中楼阁