农村自建房？

农村建房，按程序审批通过允许开工 现在东面邻居反悔了，不同意我建房 理由是我向前扩宽了1.37米 没有与他家房子一齐。 现在我是停工，还是不理他？继续开工。对方现在只是口头反对，但没有实际行动。