丽香铁路虎跳峡不设客运站主要是由于地理环境的限制。峡谷地势险峻，地质条件复杂，造成了修建客运站的难度较大。此外，由于峡谷周边居民稀少，客流量较低，设置客运站的经济效益也不高。因此，铁路部门考虑到成本和实际需求，决定不在虎跳峡设置客运站。同时，乘客可以选择在附近的其他站点上下车，以满足出行需求。