乡政府强制拆农户的宅基地养殖业

因家中想办一个小茶厂，于去年用自家责任田和同村一农户等换了块责任田，大约80平方米，当时经双方协商，并口头协定，同时给村里缴纳了3000元的土地使用费，村里答应发放土地使用证（不确定何证件,办理中）。现在同村农户毁约，索要转让费三万或租金每年一千，三年后另议，而家中茶场全部已建好，机械已安置好，对方百般阻挠，茶场没办法开业，故请教律师：我该怎么违护我的权利？ 原问题：《在自家三十年不动的责任田养殖，有土地使用证，村里因要买地要强拆我的养殖棚是否合法》