洗手间窗户装修好后可以更换 。但不建议更换，因为拆窗户时会对墙体造成一定的破坏，且不可能做到完全没有破坏，装修完成后只能再找人简单处理一下。

如果以前安装的是有附框的铝合金外开窗，拆窗时对墙体的破坏较小，可以更换新的断桥铝门窗。如果是有铁片连接的铝合金外开窗，拆窗时对墙体的破坏较大根据实际情况选择是否更换。