דיין בפתח תקווה ובירושלים

מששב לארץ ישראל ממצרים, למד הרב יוסף במדרש “בני ציון”, אשר בראשה עמד הרב צבי פסח פרנק. הוא שימש כדיין בביה”ד האזורי בפתח תקווה בהרכבו של הרב ראובן כץ והרב ישעיהו משורר (1951-1952, 1957-1958). תעוזתו הפסיקתית באה לידי ביטוי כבר בתקופת כהונתו הראשונה, בהיותו בן 30 בלבד, בעת שכתב פסק דין שהתיר יבום במקום חליצה. פסק הדין היה בניגוד לתקנה של הרבנות הראשית לישראל, “חרם ירושלים”, שנקבע שנה קודם לכן, שאסר על יבום.

בשנת תשי”ב פרסם את ספרו על הלכות הפסח חזון עובדיה, ספר שזכה להסכמות, בין השאר, משני הרבנים הראשיים, הרב עוזיאל והרב הרצוג, וכן מהרב עטייה. בשנים תשי”ד ותשט”ז הוציא לאור את שני הכרכים הראשונים של יצירתו המרכזית יביע אומר. במכתב שמופיע בהקדמה לכרך ב’ של יביע אומר, כתב הרב שלמה זלמן אוירבך על הרב יוסף – “אחד מגדולי התורה שקמו לעם ישראל בדורות האחרונים”, כל זאת כשהרב יוסף באמצע שנות השלושים לחייו. יצירה תורנית זו זיכתה אותו בשנת 1970 בפרס ישראל לספרות תורנית (עד קבלת הפרס פרסם חמישה כרכים).

בשנים 1958-1965 כיהן כדיין בביה”ד האזורי בירושלים, וב-1965 היה לחבר בית הדין הרבני הגדול. מ-1968 שימש רב ראשי בתל אביב-יפו, לצד הרב שלמה גורן.