כאשר המלך פרדננד ואשתו איזבלה בצעו את החלטתם האכזרית בדבר גירוש היהודים מספרד (בשנת 1,492), היה יוסף הקטן פחות מבין 5. בגיל רך זה הוא נאלץ ללמוד על בשרו מה רע ומר גורלו של היהודי הנודד, הנאלץ לנוע ממדינה למדינה, נרדף משנאתו העוורת של העולם הנוצרי. 

רבי אפרים ובנו הצעיר, הלכו בתחילה לפורטוגל, בקוותם למצוא שם חוף מבטחים. אולם כעבור שנים אחדות בלבד (ב־1496) גורשו גם יהודי פורטוגל ורבי אפרים ומשפחתו נדדו ממקום למקום, עד שלבסוף התגלגלו לתורכיה. כאן, במדינה מוסלמית שבשליטת שולטן ידידותי, נפתחו השערים בפני הפליטים היהודיים, שנמלטו על נפשם מהמדינות הקתוליות. בהשפעת ידידיו היהודיים הדגולים, דון יוסף נשיא ודונה גריה, הזמין השולטן התורכי את יהודי ספרד ופורטוגל לבוא ולייסד קהילות חדשות במדינתו, כשהוא מבטיח להם חופש דת מוחלט. רבי אפרים ומשפחתו התיישבו בקונסטנטינופול. יוסף הצעיר יכול היה מעתה להקדיש את עצמו ללימוד התורה, בהדרכתו של אביו, מתוך הרגשת בטחון ובאין מפריע.

לאחר מותו של אביו, התיישב רבי יוסף באדריאנופול. כאן הוא נשא לאשה את בתו של אחד היהודים המקומיים הנכבדים, רבי חייב אלבלג. לרוע המזל נפטרה אשתו זמן קצר לאחר החתונה ורבי יוסף התחתן שנית, גם הפעם נשא בתו של יהודי נכבד ותלמיד חכם, רבי יצחק סבא.

בשנת 1520 החל רבי יוסף קארו לעבוד על יצירתו ההילכתית העיקרית, הלא היא ״בית יוסף״, פירוש על ה״טורים״ המפורסמים של רבנו יעקב בן אשר. בעבודתו המונומנטלית נטל על עצמו רבי יוסף קארו את התפקיד להתחקות אחרי כל פסק הלכה של רבנו יעקב, בארבעת חלקי ה״טורים״, לבדוק את המקורות, לעמוד על ההנמקות ולהשוות את הדעות השונות ולבסוף להכריע, כאשר חילוקי הדעות הצריכו זאת. במרבית המקרים הוא פסק, כדעת רוב הדעות מבין שלשת הגדולים, שהיו לפניו: רבי יצחק אלפסי (הרי״ף), רבי משה בן מימון (הרמב׳׳ם) ורבנו אשר בן יחיאל (הרא״ש). העבודה הגדולה הזאת ארכה למעלה מ־20 שנה ונסתיימה בשנת 1542.

בשנת 1523 הוזמן רבי יוסף קארו לעמוד בראש ישיבת מיקופלי. הוא קיבל את ההזמנה ועמד בראש הישיבה במשך 13שנה. במרוצת הזמן הפכה ישיבה זו למרכז גדול של לימוד התורה ותלמידי חכמים מפורסמים נמנו על תלמידיה. בין תלמידיו הרבים של רבי יוסף קארו בלטו 3 תלמידי חכמים מפורסמים בידענותם וביראת שמים שלהם. שמות שלשתם היו משה: רבי משה קורדוברו (רמ״ק),רבי משה גלנטי ורבי משה אלשיך.

בשנת 1536 החליט רבי יוסף קארו לעלות לארץ ישראל, כשהוא מלווה ע״י חברו רבי שלמה אלקבץ (המחבר של ״לכה דודי״),יצא רבי יוסף קארו לדרך,שארכה שנה שלמה. בחודש אלול הוא הגיע לעיר הקודש צפת, שהיתה באותם הימים מרכז של תורה וקבלה. כאן הוא מצא את מורו ורבו, רבי יעקב בירב, שלימדו תורה, עוד בהיותו בפורטוגל. עתה סייע רבי יעקב בידי תלמידו הדגול, להשלים את מלאכתו הגדולה, את חיבורו ״בית יוסף״. 

בצפת נתמנה רבי יוסף קארו ראש הישיבה ואישיותו משכה למקום תלמידי חכמים צעירים רבים. ושוב הטילה טרגדיה את צילה על ביתו של רבי יוסף קארו, כאשר גם אשתו השניה נפטרה, בהותירה אותו עם ילד קטן, שלמה, בזרועותיו. הוא התחתן בשלישית ונולד לו בן נוסף, יהודה. שני הבנים גדלו ונהיו לתלמידי חכמים מפורסמים. 

לאחר שהשלים את חיבור ה״בית יוסף״, נטל על עצמו רבי יוסף קארו את התפקיד הגדול, לחבר על יסודות חיבורו האמור, ספר שיקיף בצורה מושלמת ומוסכמת את כל ההלכות ודיני ישראל, המלווים את האדם מן העריסה ועד הקבר, על כל פרטיהם ודיקדוקיהם. היה זה ה״שולחן ערוך״, הנודע, שכל העולם היהודי חי ונוהג לפיו עד היום. החלק הראשון הושלם ופורסם בכפר ביריה, אשר ליד צפת, אשר בו מצא רבי יוסף קארו מקלט, כאשר בעיר צפת פרצה מגיפה, שאילצה את התושבים לברוח מהמקום. 

רבי יוסף קארו ניהל התכתבות בעניני הלכה עם כל גדולי דורו, וביניהם המהר״ם מפאודה, רבי יצחק לוריא (האר״י הקדוש), רבי דוד בן זמרה (הרדב״ז), רבי אליהו קפסלי ואחרים. מאוחר יותר הוא השלים כתב יד של יצירה אחרת משלו, הלא הוא ה״כסף משנה״ על הרמב״ם ושלח אותו לונציה, כדי להדפיסו שם. הוא ביקש את רבה של ונציה, רבי מנחם עזריה מפאנו, שיפקח על ההדפסה. ספר זה נדפס אמנם כעבור שנה, אולם המחבר כבר לא זכה לראותו, כי הוא נפטר בצפת, בשנת 1575, בגיל 87 לחייו.

השל"ה הקדוש (רבי ישעיהו הורביץ, מחבר ,הספר שני לוחות הברית), שהתישב בצפת ובילה בה את שנות חייו האחרונות, כתב לבניו, כי שלשת ענקי הרוח, שחיו בצפת בתקופתו, רבינו יוסף קארו, רבי משה קורדוברו והאר״י הקדוש, היו דומים למלאכי ה׳ צבאות, הם היו מחוננים ברוח הקודש ואליהו הנביא היה ניגלה להם לעיתים קרובות. קברותיהם, הוא כתב, היו אחד ליד השני, כשהם יוצרים צורת סגול, הוא הדגיש, כי ראה לעצמו זכות גדולה לנשק את המצבות, אשר על הקברים.

יצירתו העיקרית של רבי יוסף קארו, היתה כאמור, ה״בית יוסף״, שעליו הוא עבד למעלה מעשרים שנה, כשהוא הקדיש 12 שנים נוספות לעריכתו והשלמתו. הוא החל אותו כפירוש על ארבעת ״הטורים״, אולם זה התפתח ליצירה עצמאית גדולה, שבה מתחקה המחבר אחרי מקור ההלכות שבתלמוד הבבלי והירושלמי, תשובותיהם של הגאונים והפוסקים הראשונים ומסתמך על כל ספרות ההלכה, שנכתבה עד דורו. שני החלקים הראשונים של בית יוסף נדפסו בונציה בשנת 1550-1551, ואילו השלישי והרביעי בסביונטה בשנת 1553 ו-1559. עד מהרה הפך ה״בית־יוסף״ בכל העולם היהודי ל״מלה האחרונה״ של ההלכה הפסוקה.

אולם עוד יותר מפורסם ה״שולחן ערוך״ של רבי יוסף קארו, שזכה לתפוצה ענקית ולמהדורות מרובות, מאז ועד היום. אף זה הודפס לראשונה בונציה בשנת 1565. השולחן ערוך מחולק, כדוגמת ארבעת הטורים, לארבע חלקים: אורח חיים, הדן בהלכות ציצית, תפילין, ברכות, בית הכנסת שבת וחגים וכו'. יורה דעה, המטפל בהלכות שחיטה, כשרות עבודה זרה, טהרת המשפחה, נדרים, כיבוד הורים ומורים, ברית מילה, צדקה, דיני אבלות וכו'. אבן העזר, הכולל את הילכות נשואין וגרושין, וחושן המשפט, העוסק בעניני נזיקין, מסחר ושאר דינים, הנוגעים ליחסים שבין אדם לחברו.

כאשר רבי יעקב בירב ביקש לחדש את הסמיכה, כדוגמת ימי הסנהדרין (צעד שעורר מחלוקת גדולה בקרב גדולי ישראל, עד שהרעיון כולו נגנז וירד מעל הפרק), היה רבינו יוסף קארו הראשון ומן הבודדים שאכן קיבל את הסמיכה. ולאחר שרבי יעקב בירב עזב את צפת, נבחר רבי יוסף קארו כרבה הראשי של צפת, בנוסף לתפקידו כראש הישיבה.

בנוסף ל״בית יוסף״ וה״שולחן ערוך״ נודעת חשיבות מרובה גם לחיבורו של רבינו יוסף קארו״ כסף משנה״ על הרמב״ם. בחיבור זה מגלה המחבר את מקורות ההלכה, אשר הרמב״ם הסתמך עליהם ומגן עליו, לעיתים קרובות, מפני השגותיו של הראב״ד.

מלבד כל הנזכר, חיבר רבי יוסף קארו גם את ״בדק הבית״ (תוספות והבהרות על בית יוסף) וכן חיבור בשם ״אבקת רוכל״, ״אור צדיקים״ וסיפרי שו״ת. בנו, רבי יהודה קארו, מספר, כי אביו חיבר פירושים גם עלהמשניות, רש״י והרמב״ן. הוא גם חיבר את הספר ״מגיד מישרין״, שבו הוא מתאר מאורעות שונים, מהם מופלאים, שארעו בחייו.