שולחן ערוך אורח חיים סימן רמ סעיף ז

לא ישמש בתחלת הליל' ולא בסופה כדי שלא ישמע קול בני אדם ויבא לחשוב באשה אחרת אלא באמצע הלילה: