הרבנית מרגלית יוסף לבית פטאל – אשתו של הרב. 

עם אחד-עשר ילדיו נמנים:

בתו, הרבנית עדינה בר-שלום – מקימת המכללה החרדית האקדמית הראשונה.
הרב יעקב יוסף – ראש ישיבת “חזון יעקב” ומעביר שיעורים בשו”ע ברחבי הארץ.
הרב אברהם יוסף – הרב הראשי הספרדי של חולון.
הרב יצחק יוסף – מחבר “ילקוט יוסף” וראש ישיבת חזון עובדיה.
הרב דוד יוסף – ראש כולל “יחוה דעת”, מחבר ספרי הלכה ברורה ורבה של שכונת הר נוף בירושלים.
הרב משה יוסף – בן הזקונים של הרב וראש ישיבת “מאור ישראל”.

חתניו:

הרב עזרא בר שלום, נשוי לבתו עדינה, דיין בבית הדין הרבני הגדול.
הרב מרדכי טולידאנו – ראש בית מדרש “יביע אומר”.
הרב אהרן בוטבול – נשוי לבתו הצעירה של הרב, ראש ישיבת “לוית חן”
הרב יעקב צ’קוטאי – נשוי לבתו רבקה, רב היישוב מודיעין-מכבים-רעות.