כת זו, שנוסדה הרבה שנים לפני דורו של סעדיה גאון, נקראה "קראים" על כי מאמיניה החזיקו רק בתורה שבכתב (ה"קרא") וכפרו בתורה שבעל-פה. בימיו של רבי סעדיה התחזקה הכת, ביחוד במצרים, וניסתה להרחיב את השפעתה ברחוב היהודי. 

 
מייסד כת הקראים היה יהודי בשם ענן בן דוד ממשפחת ה'ריש גלותא' (ראש הגולה) אשר בבבל. הוא חי ופעל 130 שנה לפני רבי סעדיה גאון. כאשר דודו של ענן, הריש גלותא, נפטר מבלי להשאיר אחריו בנים, היה ענן הראשון "בתור" לרשת את משרתו הגבוהה של דודו. אולם, היות ולא היה ירא-שמים במידה מספקת כדרוש למילוי משרה חשובה זו, סרבו גאוני סורא ופומבדיתא וכן מרבית יהודי בבל להכיר בו כריש גלותא ובחרו תחתיו את רבי שלמה בן חסדאי, שהיה צעיר ממנו בשנים, אך התאים יותר למשרה בשל תכונותיו הנפשיות. 

 
משראה ענן שהוא לא יקבל את התפקיד הנחשק, התמרד נגד מרות הגאונים והחל כופר במסורת היהודית כפי שהתגבשה במשנה ובתלמוד לפי פירושי חכמינו זכרונם לברכה, על-פי התורה שבעל פה שנמסרה למשה מסיני. הוא ייסד כת שהכירה אך ורק בתורה שבכתב ודחתה את קיום המצוות המעשיות שאינן מפורשות בתורה. במובנים רבים הייתה הכת החדשה דומה לכת הצדוקים שהייתה לפני חורבן בית שני. ענן בעצמו החל לפרש את התורה לפי רצונו ונטיותיו, ניתק את כל קשריו עם היהודים והיהדות והוציא את עצמו מכלל ישראל יחד עם עדתו. יתר על-כן, פתח במערכה כבדה נגד הרבנים שלומי אמוני ישראל במגמה לחזק את השפעתו. 

 
עם התפשטות הדת החדשה – האיסלם – שנוסדה ע"י מוחמד וצמיחת כתות שונות ומשונות בקרב הערבים התחזקה הכת של ענן. הרבה יהודים עשירים, שהושפעו מהתרבות הערבית החדשה, התקרבו אל הקראים יותר ויותר. ומאחר והיהודים הכשרים לא רצו לקיים כל קשר אתם ארגנו הקראים "קהילות" משלהם ופיתחו "מסורת" קראית שהייתה מבוססת על עירבוביה מבולבלת של "תורות", אותן הפיץ ענן בן דוד. 

 
בימי רבי סעדיה גאון, הפכו הקראים לקבוצה גדולה, מגובשת ובעלת השפעה. סעדיה הצעיר, נטל על עצמו את היוזמה להלחם בדעותיהם הנפסדות וטיעונו הלמדני וההגיוני כאחד, נגד "עיקרי" הקראים ומנהיגיהם, גרם לאבדן יוקרתם בעיני שכבות רחבות ביותר בקרב הציבור היהודי. 

 
אומץ-לב בלתי רגיל היה דרוש מצד סעדיה הצעיר – שהיה אז רק בן 23 – להכריז "מלחמה" על הקראים בעלי ההשפעה. לכתביו, בהם הוכיח את השקר שב"אמונה" הקראית, היתה השפעה מרחיקה-לכת וקראים רבים החלו להתרחק מהכת. בראות מנהיגי הקראים כי לא יצליחו להתמודד עם טיעוניו ההגיוניים של רבי סעדיה, הם פתחו בטרור אישי נגדו. קראים קנאים פרצו לביתו, הפכו את ספרייתו, שרפו את כתביו עד כי חייו היו בסכנה והוא נאלץ לעזוב את ארץ מולדתו. הוא יצא את מצרים בחשאי, עבר לארץ ישראל ומשם המשיך במלחמתו, הבלתי נלאת, נגד הקראים.
רבי סעדיה תרגם את התורה לערבית, שהייתה אז השפה המדוברת בקרב היהודים תושבי ארצות האיסלם והוסיף לה פרוש משלו, שהיה מכוון לחיזוק האמונה היהודית וביסוס יסודות הדת והמסורת.

בהיות רבנו סעדיה גאון בארץ ישראל פרץ שם משבר חדש שאיים לפלג את הישוב היהודי לשניים. הפעם לא הייתה זו התקפה מבחוץ, אלא סכסוך שנבע מיחסים פנימיים. 

 
המשבר פרץ החוצה כאשר רבי אהרון בן מאיר (ראש הישיבה בארץ ישראל וצאצא המשפחה המלכותית שעמדה בראש הישוב היהודי בארץ מזה דורות) החליט לדרוש לעצמו את כתר המנהיגות על העולם היהודי שעבר לראשי יהדות בבל. העיתוי היה מוצלח: יהדות בבל ובמיוחד בסורא היו נתונים בשפל. הישיבה בסורא התרוקנה מלומדיה והיו תוכניות להעביר את הנותרים לפומבדיתא, שהפכה למרכז החיים היהודיים בבבל. כן נטוש היה ויכוח בין דוד בן זכאי ריש גלותא ובין תלמידי החכמים על מינוי ראש הישיבה בפומבדיתא. 

 
רבי אהרון בן מאיר ניסה לנצל את ההזדמנות. בחושבו כי ראשי יהדות בבל עסוקים בבעיותיהם הם, החליט בן מאיר להכריז על עצמו כעל סמכות דתית עליונה, כעילה לכך שימשה בעיית קביעת הלוח העברי. במשך כל הזמן נקבע הלוח על-ידי חכמי בבל והתקבל בקרב כל תפוצות ישראל. עתה הוציא בן מאיר לוח שנה עם חישובים משלו ותבע כי יהודי כל הארצות יכירו בלוח שלו כנגד הלוח הבבלי המקובל מדורי דורות. נשקפה סכנה שיהודים אחדים יכירו בלוח זה ואילו אחרים בלוח אחר ויימצאו יהודים שיחוגו את החגים בתאריך אחר מאשר אחיהם בתפוצות הגולה. נקל לתאר איזה הרס וחורבן היה נובע מכך. 

 
בימים ההם ביקר רבי סעדיה באלפו. הוא היה בר-סמכא גדול בעניני הלוח וידען גדול באסטרונומיה. ויכוחיו עם הקראים אודות הלוח העברי הקנו לו יידע ונסיון רב בענינים אלה. מיד כאשר שמע המחלוקת הגיע אליו, הוא יצר קשר עם בן מאיר, והוכיח לו שחישוביו מוטעים וחישובי חכמי בבל הם הנכונים. בעת ובעונה אחת קיבל רבי סעדיה פניות רבות מקהילות שונות שלא ידעו לפי איזה לוח עליהם לנהוג, אחרי שהמחלוקת בלבלה אותם לחלוטין. רבי סעדיה השיב לכל שאלה ושאלה בצורה כה ברורה וחד-משמעית שלא נותר עוד כל ספק בנוגע לסמכותם של חכמי בבל לקבוע את הלוח. וכאשר רבי אהרון בן מאיר סירב להודות במשגהו, הוא נשאר ללא כל תומכים והויכוח נסתיים בכי טוב, הודות להתערבותו של רבי סעדיה גאון.

לויכוח המר עם בן-מאיר הייתה גם תוצאה חיובית: הוא איחד את חכמי בבל במגמה לשמור על הסמכות ההלכתית הבלעדית של בבל וחכמיה. רבי סעדיה היה עתה מפורסם יותר מאי-פעם ושמו הוזכר כמועמד טבעי למשרת הגאון של ישיבת סורא המעטירה. זה היה כבוד יוצא מגדר הרגיל, שלא נהגו להעניקו למי שבעצמו לא נמנה על תלמידי הישיבה.
דוד בן זכאי, ששימש כריש של גלותא בימים ההם, העריך מאד את רבי סעדיה והוא הוא שהציע לו את משרת הגאון בסורא. ליתר בטחון, הוא הציע קודם לרבי ניסים נהוראי, מחכמי בבל הזקנים, שהיה נערץ על כולם הודות ללמדנותו, חסידותו ומידותיו התרומיות. אולם רבי ניסים היה זקן מאד וסגי-נהור ולא יכול היה לקבל על עצמו את המשרה האחראית. "ראש הישיבה יהיה חייב להאיר את העולם היהודי ולא יהיה זה נכון אם המשרה תוטל על שיכמו של מי שאיבד את מאור עיניו" – אמר רבי ניסים. 

 
לאחר מכן שאל הריש גלותא את דעתו של רבי ניסים על מועמדותו של רבי סעדיה. רבי ניסים הכיר היטב את דוד בן זכאי וידע כי הוא אדם בעל אופי חזק, הכופה את רצונו על סביבתו ואינו נוטה להתפשר. בנוסף, ידע רבי ניסים כי גם רבי סעדיה הוא בעל רצון חזק, העומד על דעתו ושומר ובקנאות על כבודו שהוא כבוד התורה. היה ברור כי רבי סעדיה לא יבטל את דעתו בפני דעת ריש גלותא. עצת רבי ניסים הייתה, איפוא, כנה ושקולה: אם הינך מחפש למדן גדול וירא-שמים, אין לך מתאים מרבי סעדיה. אולם, הוא הזהיר את הריש גלותא, "לא תוכל לכפות את דעתך על דעתו של רבי סעדיה אם הוא יתמנה גאון של סורא". 

 
למרות זאת החליט דוד בן זכאי כי רבי סעדיה ישב על כס הגאון של סורא. הוא היה בטוח כי הגאון החדש ייכנע לו מאחר שהוא חדש במדינה, בלי ידידים בעלי השפעה ובלי קשרים לחוגי השלטון המקומי. הוא היה בטוח שרבי סעדיה יהיה אסיר-תודה על המשרה המכובדת שקבל הודות לו. 

 
כך אירע, שרבי סעדיה, שחזר בינתיים למצרים, קיבל הזמנה לבוא ולקבל את משרת הגאון של ישיבת סורא. היה זה בשנת 4687 לבריאת העולם, בהיותו בן 45. 

 
ישיבת סורא פרחה והתפתחה בהנהגת רבנו סעדיה גאון. תלמידים רבים נהרו לישיבה המפורסמת כדי לשמוע תורה מפי ראשה, הגאון הצעיר. 

 
אולם לא היו ימים מרובים ו"נבואתו" של רבי ניסים נתקיימה. שנתיים אחרי שרבנו סעדיה נכנס לתפקידו כגאון של סורא נפלה מחלוקת חמורה בינו לבין ריש גלותא. 

 
ומעשה שהיה כך היה: יורשים שלא יכלו להסכים ביניהם על חלוקת הירושה, באו אל הריש גלותא וביקשו את הכרעתו. הנוהג במקרים כאלה היה, שאחוז מסויים מן הסכום המדובר היה נכנס לאוצר המלכותי של הריש גלותא. בהיותו נוגע בדבר, היה על הריש גלותא לפסול עצמו מלשבת בדין, אולם הוא לא עשה זאת. 

 
לפי הנוהג המשפטי, היה פסק כזה של הריש גלותא טעון חתימותיהם של שני גאוני בבל כדי שיקבל תוקף חוקי וסופי עליו אין עוררין. ריש גלותא שלח את בנו לרבי סעדיה כדי לקבל את חתימתו אולם סעדיה, מצדו, שלח אותו אל הגאון של פומבדיתא, רבי כהן צדק. הלה חתם והנסיך הצעיר חזר אל סעדיה וביקש, הפעם כבר בתוקף, שיחתום על המסמך. אולם רבי סעדיה סירב ואמר לנסיך להגיד לאביו כי התורה מצווה לא להכיר פנים במשפט... 

 
הנסיך הצעיר שאיבד סבלנותו הרים יד בגאון של סורא, אולם כאן התערבו משרתיו של רבי סעדיה, שתפסו את הצעיר חמום-המח וזרקו אותו החוצה. 

 
כתגובה על כך הכריז הריש גלותא שנפגע מסירובו של רבי סעדיה לחתום על המסמך, כי הוא מעביר את הגאון מכהונתו וממנה במקומו גאון אחר לכס הגאונות של סורא – את רבי יוסף בן יעקב, תלמיד חכם צעיר שטרם יצא טיבו בעולם. מלבד זאת עשה הריש גלותא כל שהיה לאל ידו כדי למרר את חיי רבי סעדיה גאון. 

 
רבי סעדיה מצדו הודיע כי הריש גלותא אינו ראוי יותר לאימון הציבור והוא "מינה" במקומו את אחיו הצעיר – יאשיה חסן – לתפקיד הרם. במאבק המר שנתפתח בין השניים נהנה רבי סעדיה מתמיכת תלמידי-חכמים ורוב האוכלוסיה היהודית שבבל. מאידך הצליח דוד בן זכאי, לגייס לתמיכתו חוגים בעלי השפעה בחצר הכליף. כתוצאה מלחץ חוגים אלה, נאלץ רבי סעדיה לעזוב את סורא וגם אחי דוד בן זכאי, יאשיה חסן, שנתמנה על ידו, הוגלה.

רבי סעדיה התיישב בבגדד. במשך חמש השנים הבאות הוא סבל הרבה מהיותו נעקר ממקומו, אולם מאידך הייתה זו שעת הכושר בשבילו להתמסר לעבודתו הספרותית והמחקרית, בהיותו משוחרר מנטל התפקידים הרישמיים של גאון ישיבת סורא. בתקופה זו כתב רבי סעדיה את יצירתו הפילוסופית הגדולה: "אמונות ודעות". הוא כתב אותו בשפה הערבית, כדי שיהיה מובן ליהודים ה"משכילים" וכן לעולם הלא-יהודי. דאגה מיוחדת ונכונות לעזור גילה רבי סעדיה במיוחד לאותם יהודים שבהשפעת התרבות הערבית נפלו לזרועות היאוש והספקות וקיבלו מושגים מסולפים לגבי דתם ואמונתם הם. "לבי לבי על היהודים שנפלו לים של ספקות, מוקפים מים זדונים של טעויות ודעות נפסדות ואין מי שיושיט להם יד כדי להצילם. יש צורך בשחיין טוב, שיתן להם יד ויוציא אותם ליבשה. וכאשר השם יתברך לימדני דעת את הדרך, חושבני כי תפקידי להושיט להם יד מסייעת" – כותב רבי סעדיה בדיברי הקדמתו ל"אמונות ודעות".
הספר עצמו מחולק ל-10 חלקים, כל חלק כולל מספר פרקים. בספרו זה מעלה המחבר את היסודות העיקריים של האמונה היהודית ומדגיש את הקשר בין בורא העולם, ישראל והתורה. אשר לתורה, כאמצעי קשר בין העם היהודי והאלוקים, הוא משווה את התורה שבכתב לתורה שבעל-פה המהווים יחד את הבסיס שקיום העם היהודי ככלל ושל האדם היהודי כפרט. 

 
לספר "אמונות ודעות" נודעה השפעה עצומה על המחשבה היהודית עד ימינו אלה. בימי הגאון שימש הספר תריס בפני הדעות הנפסדות שאיימו על האמונה היהודית התמימה, בעקבות השפעתם של הסופרים המוסלמים והנוצרים.
מלבד "אמונות ודעות" כתב רבי סעדיה ספרים רבים אחרים, ביניהם תרגום של התנ"ך לערבית, בצרוף פירוש חשוב. חיבוריו האחרים שהתייחסו לכל תחומי התורה והמדע זיכוהו בכינוי שכינה אותו רבי אברהם אבן עזרא: "ראש המדברים בכל מקום". למרבה הצער לא כל חיבוריו הגיעו לידינו ורבים מהם אבדו במשך הדורות.

במשך שהותו בבגדד ובעקבות עבודתו הספרותית שם, יצא שמו של רבי סעדיה לתהילה עוד יותר משהיה קודם לכן. במשך כל הזמן הזה ניסו ידידיו שבבל להביא לידי פיוס או לפחות "שביתת-נשק" בינו ולבין ריש הגלותא ודוד בן זכאי. לבסוף הצליחו ידידים בעלי השפעה להפגיש את השניים ורבי סעדיה הורשה לתפוס שוב את משרתו כגאון של סורא. זמן קצר לאחר מכן נפטר בן זכאי ורבי סעדיה תמך בבנו, יהודה – שהרים בשעתו יד נגדו וגרם לסבלו הרב – למשרת ריש גלותא. אולם גם יהודה נפטר זמן קצר אחרי אביו, בהשאירו אחריו בן צעיר, אותו אסף רבי סעדיה אל ביתו ודאג לחינוכו. הוא דאג לכל מחסורו של הנסיך היתום, לימדו וחינכו והכינו לתפקיד הרם של ריש גלותא. 

 
רבי סעדיה חי שישים שנה. הוא נפטר בכ"ו אייר שנת ד' תש"ב. בניו ובמיוחד רבי דוסא גאון היו תלמיד-חכמים מופלגים. 

 
רס"ג חי בתקופה קשה ליהדות, תקופה בה נשקפה סכנה לאחדות האומה ולאמונה היהודית מבית ומחוץ. אישיותו וכח מנהיגותו, אליהן נלוו למדנותו המופלגת ואהבתו הגדולה את היהודים והיהדות – איחדו את היהודים ברוח התורה והמסורה. הרמב"ם שחי כ- 200 שנה אחריו ואשר הושפע מרס"ג עמוקות, אמר עליו: "אם לא רבי סעדיה, נשתכחה חס ושלום תורת ישראל. לפי שהיו בני דורו בעלי סברות רבות נשחתות, וכמעט שתאבד תורת השם לולא הוא עליו השלום. לפי שהוא גילה מן התורה מה שהיה נעלם וחיזק מה שנידלדל".