חסדאי בן יצחק בן עזרא נולד בעיר הספרדית חאין בשנת ד׳ תרע״ה (915). אביו, ר' יצחק בן  עזרא, היה תלמיד חכם וסוחר אמיד. הוא נתן לבנו חינוך מעולה והבן השתלם הן בתנ״ך והן  בתלמוד. חסדאי הצעיר הצטיין גם בידיעת שפות ומלבד עברית וערבית, שלט גם ביונית ולטינית. הוא למד את חכמת הרפואה ונהיה לרופא מהולל. 

במרוצת הזמן משך אליו המלומד היהודי הצעיר את תשומת לבו של הכליף עבדול רחמן,  שהזמינו לשמש כרופאו האישי. כאשר למד להכיר מקרוב את חכמתו, ידענותו הגדולה וכשרונותיו הבלתי רגילים של הרופא היהודי הצעיר, מינה אותו הכליף להיות ממונה על סחר החוץ של ממלכתו. תפקיד זה כלל פיקוח על עניני יצוא ויבוא, קביעת גובה המכס על הסחורות וכו'.

מלבד הסכומים הגדולים שחסדאי הכניס בתוקף תפקידו זה לאוצר המלוכה, הוא גם פיתח במדה מרובה את סחר החוץ של הממלכה הערבית. התוצאה היתה שהכליף מינה אותו גם כיועץ דיפלומטי וממונה על קשרי החוץ שלו עם מדינות אחרות. שגרירי מדינות זרות היו מגיעים תחילה אל חסדאי אבן שפרוט והוא קבע את טיב קבלת הפנים, שלה הם זכו אצל הכליף.

חסדאי אבן שפרוט ניצל את קשריו אלה עם השגרירים הזרים, לטובת אחיו היהודים, שהתגוררו במדינות הללו. כך למשל בשנת 944 (הוא היה אז כבן 30), בשעה שקיבל את שגרירה של הממלכה הביזנטינית הגדולה, בה שלט אז הקיסר קונסטנטין השביעי, הוא מחה על היחס הגרוע אל היהודים, שסבלו רדיפות מדי שליטי הממלכה הביזנטינית, שהיו נוצרים קנאים. הללו ניסו להעביר את היהודים על דתם ועשו להם צרות צרורות. הודות להתערבותו הדיפלומטית של חסדאי אבן שפרוט, שופר בהרבה היחס אל היהודים בימי כהונתו של הקיסר קונסטנטין ואשתו הקיסרית הלנה. בצורה דומה ניצל חסדאי את השפעתו כאשר קיבל, בשנת 956, את שגרירו של אוטו הראשון, קיסר גרמניה.

מפעם לפעם אף שלח הכליף את חסדאי כשגריר מיוחד וכנציגו האישי למדינות הנוצריות השכנות. בהזדמנויות כאלה היה הידע הרפואי הגדול שלו לעזר רב, כאשר נועצו בו בענינים רפואיים שונים, בחצרות המלכים בהן הוא ביקר.  חסדאי אבן שפרוט אף מינה יהודים כשגרירים במדינות שונות. מאליו מובן, כי השגרירים הזרים היו מספרים למלכים שלהם על כבודו הגדול, עושרו והשפעתו של חסדאי היהודי ומושלי המדעות השונות היו משחרים את פניו ומבקשים את ידידותו, כדי לקיים באמצעותו יחסים דיפלומטיים וכלכליים הדוקים עם המדינה.הערבית העשירה, מדינת קורדובה.

חסדאי היה מסור בלב ונפש לאחיו היהודיים, בספרד בפרט, ובכל העלם בכלל. הוא היה נשיאם הבלתי מוכתר של יהודי ספרד ועשה ככל יכולתו, כדי לשפר את מצבם הכלכלי והרוחני. בעבודתו לטובת הכלל, הוא עמד בקשר עם הישיבות הגדולות של סורא ופומבדיתא אשר בבבל, וכן עם מרכזים יהודיים בארצות אחרות, ותמך בישיבות ביד רחבה. יתר על כן, הוא הביא על חשבונו תלמידי חכמים רבים  לספרד, כדי שיפיצו שם את ידיעת התורה והחזיק בהם, כמו בישיבות ובתלמידיהן בצורה נדיבה ומכובדת.

הוא עמד בקשרי מכתבים עם גאוני זמנו והושיב סופרים, שיעתיקו בשבילו את כל מסכתות התלמוד (באשר באותם הימים טרם הומצא הדפום וכל הספרים נכתבו בכתב יד).  בין חבריו המסורים של חסדאי, אותם הוא פרנס ביד רחבה וסיפק את כל צרכיהם, אנו מוצאים את בעל הדקדוק המפורסם ר׳ מנחם בן  יעקב אבן סרוך ור׳ דונש בן לאבראט, שהיה תלמידו של רבנו סעדיה גאון. 

בתקופתו של  חסדאי ובהשראתו החל מה שקרוי היום ״תור הזהב״ של פריחה רוחנית בקרב יהדות ספרד, שהוציאה מקרבה שורה ארוכה של גדולי תורה מפורסמים, משוררים והוגי דעות כרבי יהודה הלוי, אבן עזרא, אבן גבירול, רמב״ם, רמב״ן ורבים אחרים.

בתקופת פעילותו של הסדאי אבן שפרוט ארע גם המקרה המפורסם של ״ארבעת השבויים״. ארבעה תלמידי חכמים, שיצאו בשליחותן של ישיבות בבל ובדרך נשבו ע״י שודדי ים ולאחר מכן נפדו ע״י יהודי ארצות שונות, שבהן הם הקימו אחר כך מרכזים חדשים של חיי תורה. בכך הבטיחה ההשגחה האלוהית כי עם שקיעתן של ישיבות בבל לא יתבטל לימוד התורה, אלא תזרח שמשה במדינות אחרות. 

אחד מארבעת השבויים, רבי משה בן חנוך, הובא לקורדבה, שם הוא נפדה ע"י הקהילה היהודית המקומית. כאשר נודע לחסדאי, מי הוא, דאג לכך, שרבי משה יוכל להרביץ תורה ולקבץ סביבו תלמידים רבים במולדתו החדשה.  

באותם ימים נפוצו שמועות על ממלכה יהודית אדירה — מלכות הכוזרים — הקיימת במזרח, מאחורי הרי הקוקז, משתרעת עד הנהרות דון וולגה בדרום רוסיה, ושלוחותיה מגיעות עד קייב. את השמועות הביאו נוסעים, שהתגלגלו למדינה רחוקה וביניהם גם נוסעים וסוחרים יהודיים. ממלכה ״יהודית״ זו התקיימה כבר מאות בשנים, מאז שהמלך בולאן הכוזרי התגייר, יחד עם כל משפחתו ועמו, אולם הם היו מנותקים מכלל היהודים ואמונתם ומנהגיהם היו דומים מבחינות רבות לאלה של הקראים, שלא הכירו בתורה שבע״פ והתנהגו אך ורק לפי התורה שבכתב. אולם בעוד שאצל הקראים בא הדבר מתוך ניכור מודע והתרחקות מדעת, הרי שהכוזרים היו תלושים מהיהדות, בעיקר בגלל ריחוק מקום והעדר מחנכים, שילמדו את העם תורה ומצוות.  

כאשר נודע הדבר לחסדאי, הוא הקים קשר מכתבים עם יוסף מלך הכוזרים. הוא כתב לו מכתב רצוף ידידות ואחווה יהודית, בו נאמר, כי הגיע אליו שמעה של הממלכה היהודית הרחוקה והוא מבקש לדעת, אם אכן אמת הדבר. אם אמנם נכון, שקיימת ממלכה יהודית, שבה היהודים אדונים לגורלם ואין הגויים שולטים בהם ושבה יש ליהודים מלך משלהם, אזי מוכן הוא, חסדאי, לעזוב מאחוריו את כל עושרו וכבודו ולעבור ים ויבשה, כדי להגיע למקום הזה ולראות במו עיניו את כבודו של המלך היהודי.  

מלך הכוזרים יוסף השיב לחסדאי במכתב כתוב עברית, בו הוא עונה על כל שאלותיו ומספר לו, כיצד אחד מאבותיו, המלך בולאן, שהיה בתחילה עובד אלילים, הזמין אליו נציגי כל הדתות והאמונות, ביניהן הנוצרית, והמוסלמית, כדי להכיר את אמונתם. כאשר נודע לו, כי שתי הדתות הללו מיוסדות ומתבססות על האמונה היהודית העתיקה, הוא הזמין גם נציג יהודי, כדי להכיר יהדות זו מה טיבעה. לאחר שיחות ארוכות עם הנציג היהודי, השתכנע המלך בולאן באמיתותה של האמונה היהודית והתגייר. בהמשך מכתבו הביע המלך יוסף צער על כך, שהוא ועמו מנותקים מהעם היהודי ואין להם מי שילמדם תורה ומצוות ויורה להם את הדרך אשד ילכו בה.  

חליפות המכתבים ההיסטורית בין חסדאי אבן שפרוט ומלך הכוזרים, מאשרת את אמיתותו של הסיפור על אודות קיומה של ממלכת הכוזרים היהודית, סיפור שבמשך זמן רב נחשב כאגדה בלבד.  

לאחר חילופי המכתבים, שיגר חסדאי אבן שפרוט נציג אישי אל מלך הכוזרים, אולם השליח, יצחק בן נתן, עוכב בקונסטנטינופול. מסתבר, כי ממלכת ביזנטיה לא היתה מעונינת, שיווצרו קשרים הדוקים בין המדינה הערבית אשר בספרד ובין ממלכת הכוזרים היהודית. באמתלא, שהדרכים בחזקת סכנה, לא אופשר לשליח להמשיך בדרכו ולהגיע לאיטיל, בירת מדינת הכוזרים.  

חסדאי לא ויתר על רצונו להקים קשר ישיר עם מלך הכוזרים. אי לזאת הוא שלח שליח נוסף, את יצחק בן אליעזר, שעשה את דרכו בכיוון הונגריה ורוסיה. שליח זה הגיע אל יעדו, מסר למלך הכוזרים מכתב מאת חסדאי והביא תשובה ממנו. אולם למרבה הצער, כאשר מכתבו של חסדאי הגיע אל מלך הכוזרים, נערמו עננים כבדים על שמי המדינה הכוזרית.  

שליטי רוסיה והממלכה הביזנטינית עשו יד אחת, במטרה להחריב את ממלכת הכוזרים. המלחמה נמשכה שנים אחדות ובסופו של דבר, ניצח השליט הרוסי סווטוסלוו את צבא הכוזרים והחריב את עיר בירתם. אולם ממלכת הכוזרים המשיכה להתקיים עוד כמאה שנה, והיא אף שיחקה תפקיד חשוב בחלק זה של העולם. במרוצת הזמן מוגרה הממלכה כליל ונראה כי הכוזרים עצמם התבוללו בקרב עמי המרחב. על כל פנים, היה זה חסדאי אבן שפרוט, שהודות לו זכתה עובדת קיומה של ממלכת הכוזרים לפרסום רב ולאישור היסטורי.  

מאוחר יותר בנה רבי יהודה הלוי את יצירתו הפילוסופית הנודעת, ״ספר הכוזרי״, על יסודות הסיפור שלפיו התגייר בולאן מלך הכוזרים, לאחר שה״חבר״ (הנציג היהודי) הסביר לו את יסודות אמונת ישראל.  

חסדאי אבן שפרוט החזיק במשרתו הממלכתית הרמה בממלכת קורדובה גם לאחר מותו של הכליף עבד אל רחמן, כאשר בנו, חכים הומלך ככליף במקומו.  

חסדאי אבן שפרוט נפטר בקורדובה בגיל 60 לחייו.