如果建造违反了相关法规和规定，那么就是违法的违建。

因为在建造寺庙围墙内建僧人宿舍的过程中，如果没有取得相应的建筑许可证或者建造违反了规划设计，那么就是违法的违建。

值得注意的是，如果该建筑符合相关法规和规定，那么就不算违建，并且对于寺庙内的建筑，需要尊重宗教信仰和文化传统。

同时我们也应该意识到，建筑的规划设计和审批程序应该遵循法律法规和规划要求，以保证城市发展和公共利益。