不能拆除。

因为交钱给村里建房是一种形式上的购房行为，但在法律上并不能视为产权交易，因此你并没有拥有这座房子的所有权。

而且，即使你是建房的实际使用者，也不能随意拆除该房屋，除非你取得此房屋的所有权或者符合政府规定的房屋拆除条件。

此外，在村里兴建的房屋属于农村土地集体所有，属于公共资源，拆除需要符合相关法律法规和政策规定的条件，否则可能会违法。

因此，不能轻易拆除。