בשנת 1947 עבר למצרים, לבקשתו של הרב עוזיאל, כדי לשמש שם אב בית דין. במצרים מצא הרב יוסף מחויבות דתית חלשה, לא רק בקרב המוני העם, אלא גם בקרב המנהיגות ואף בקרב הרבנים המקומיים. אחת הבעיות החמורות מבחינה הלכתית הייתה מערך הכשרות, דבר אשר גרם לסכסוכים בינו ובין אישים בקהילה, וביניהם עם כמה מהרבנים. בעקבות אירועים אלה התפטר הרב יוסף מתפקידו, שנתיים לאחר בואו, בשלהי תש”ט. כשנה לאחר מכן, בקיץ 1950, חזר לישראל. חוויותיו במצרים השפיעו רבות על הרב יוסף, והדבר בא לידי ביטוי בפסיקותיו ובדרשותיו. שהותו במצרים השאירה ברב יוסף גם את חותמה בדמות ליקויי הראייה שמהם הוא סובל, ואשר החמירו עם השנים, דבר אשר מצריך ממנו להרכיב משקפיים עם עדשות כהות.