历史上，这是土匪窝。香炉山位于凯里市的西北边，距凯里市区约15公里，海拔1200米，四周是绝壁。去香炉山的话，在凯里乘201线（凯里～炉山）到虎庄村的王家土站下，穿过公路向虎庄街道方向50米，到岔路口朝香炉山方向走到宗堂寨，走小水泥路走到塘房，就可以爬山。从悬崖下到山顶需要将近一个小时。上去的小路宽不到1米，全是台阶。

在凯里市区“天一商场(起点)→房产大楼→宁波路西→四一八医院→金玉商场”等车站乘坐201线(凯里－炉山)公交车到虎庄村“王家土”车站下，穿过公路向左下方虎庄街道方向走大约50米，走到岔路口顺着朝香炉山方向的马路走到宗堂寨，之后沿着小水泥路走到塘房寨，就能爬山了