ילדותו ונערותו
הרב יוסף נולד בבגדאד כבכור ליעקב עובדיה וג’רג’יה. ב-1924, כשהיה בן 4, עלתה משפחתו לארץ ישראל, והתיישבה בשכונת “בית ישראל” בירושלים, שם התפרנסה מחנות המכולת של אביו (בעיראק, עבד אביו כצורף זהב וכסף). מצבה הכלכלי של המשפחה היה דחוק, והרב יוסף נאלץ להתחיל לעבוד בגיל צעיר. מנעוריו התבלט בגאונותו ובלהיטותו לתורה. את יצירתו הספרותית הראשונה כתב כבר בגיל תשע, בשולי הספר “ראשית חוכמה” (של הרב אליהו די וידאש). הרב יוסף התחנך בתלמוד תורה “בני ציון”, שבשכונת הבוכרים, ובגיל 12 (תרצ”ג) עבר ללמוד בישיבת פורת יוסף. באותה שנה כתב את ספרו הראשון (“מחברת העתקת חידות”) יחד עם שניים מחבריו. בישיבת פורת יוסף המשיך להשקיע את כל זמנו בלימוד תורה ובכתיבה תורנית. ראש הישיבה, הרב עזרא עטייה, שימש עבור הרב יוסף כאב רוחני.

בהיותו בן 17 נשלח הרב יוסף על ידי הרב עטייה, להעביר שיעור יומי לבעלי בתים בבית כנסת של עולי פרס בשכונת “בית ישראל”. השיעור עסק בהלכה, מתוך ספרו של רבי יוסף חיים מבגדאד, הבן איש חי. בשיעוריו, הרבה הרב יוסף לחלוק על הבן איש חי, וטען כנגדו כי הוא מחמיר וכי הוא מעדיף את פסקי האר”י על זה של השולחן ערוך. שיעורי הלכה אלו היו חוויה מעצבת עבור הרב יוסף, הן משום שלראשונה ביטא בפומבי את תפיסתו בנוגע לעדיפות שיש לפסקי רבי יוסף קארו, והן משום שדבריו כנגד פסיקותיו של הבן איש חי עוררו תרעומת בקרב קהל שומעיו, במיוחד אלה מיוצאי בבל.

בגיל 20 הוסמך לרבנות ודיינות על ידי הרב בן ציון מאיר חי עוזיאל, ומ-1945 עד 1947 שימש כדיין בבית הדין של העדה הספרדית בירושלים. בתקופה זו כבר התבססה תפיסתו ההלכתית, והוא נהג להשיב לשאלות שהופנו אליו מחוגי הרבנות והדיינות הספרדית בארץ ובפזורה, וכן מאשכנזים ירושלמים. בשנת תש”ד (1944), נשא לאישה את מרגלית, ביתו של ר’ אברהם הלוי פטאל, מעולי חאלב. בתקופה זו, בני משפחתו של הרב יוסף וחבריו לשכונת מגוריו בירושלים, נחשפו לסביבה הציונית ופעלו במסגרתה, עד כדי מעורבות אינטנסיבית בארגון האצ”ל.