שולחן ערוך אבן העזר סימן כב סעיף טו

אין ממנין אפילו אדם נאמן וכשר להיות שומר בחצר שיש בו נשים אע"פ שהוא עומד בחוץ שאין אפוטרופוס לעריות: