Пусть муж подает на аппиляцию. Укажите там подобробно причины выездов, если есть какие то справки или другие документы, приложите их. Причина отказа странная, Вы не обязаны находиться в стране все время. У Вас мультивиза? Если да, то она не предусматривает вьез и выезд в страну.