法官违反法定程序应承担诸多责任，这包括行政、刑事和民事责任。行政责任是指对其违法行为进行纪律处分或财政处罚。刑事责任则是指要承担刑事处罚，如剥夺政治权利、罚款、收监禁等。

而民事责任主要指在民事诉讼中，因违反法定程序而导致当事人 受到损失的话，法官要承担赔偿责任。因此，法官违反法定程序是十分严重的违法行为，对其惩罚必须严格。