שולחן ערוך אבן העזר סימן קנה סעיף ה

כשם שממאנת בבעל כך ממאנת ביבם אם לא מיאנה בבעל.