רמב"ם (משנה תורה) הלכות איסורי ביאה פרק יט הלכה טו

כהנים ולוים וישראלים מתרין לבוא זה בזה. והולד הולך אחר הזכר. (לויים וישראלים וחללים מתרים לבוא זה בזה והולד הולך אחר הזכר). שנאמר (במדבר א יח) "ויתילדו על משפחתם לבית אבתם". בית אביו היא משפחתו ואין בית אמו משפחתו: