אביו של שמואל נקרא אבא בר אבא. הוא היה מגדולי החכמים שבזמנו, וחי בעיר נהרדעא שבבבל. לפרנסתו עסק במסחר בדי משי והתפרנס מכך בכבוד. 

 
פעם שלח התנא הישיש רבי יהודה בן בתירא, שחי בעיר נציבין שבארץ ישראל, להודיע לר' אבא בר אבא כי ברצונו לקנות ממנו בדי משי. כעבור זמן הופיע ר' אבא בר אבא בעיר נציבין עם בדי משי עבור התנא הישיש. רבי יהודה בן בתירא התפלא ואמר: "לא היה בכוונתי לרכוש את האריג הזה; היו אלה דיבורים סתם". 

 
"דיבור פיך" השיב לו ר' אבא בר אבא "נאמנים עליי יותר מסכום כסף". 

 
התנא בירך אותו שיזכה בבן שיהיה מהימן בקרב בני-ישראל כשמואל הנביא. ברכתו התקיימה ונולד לו בן, ונקרא שמו בישראל שמואל. 

 
למרות שאביו של שמואל היה מפורסם בזכות עצמו, הרי בנו התפרסם עוד יותר ממנו עד שקראו לאביו "אבוה דשמואל" וייחסוהו על שם בנו. 

 
עוד בנערותו היה שמואל הצעיר נזהר ביותר בנטילת ידיים לסעודה. מספרים כי פעם בימי נערותו חזר שמואל הביתה ועיניו דומעות. שאלוהו אביו: 

 
- למה זה תבכה? 

 
- כי המורה היכני, השיב שמואל. 

 
- ומדוע היכה אותך המורה? המשיך האב לשאול. 

 
- כי הוא ציווני להאכיל את בנו, ולא נטלתי את ידי. 

 
- ומדוע, אם כן, לא נטלת את ידיך לסעודה? ממשיך האב בשאלותיו. 

 
- הוא יאכל ואני אטול את ידי?! תוהה שמואל הצעיר. 

 
לאחר זמן החל אביו בעצמו ללמדו. מיום ליום התרחבו ידיעותיו בתורה. לשמואל היו כשרונות נפלאים והוא שקד בהתמדה עצומה. 

 
מלבד גדולתו בתורה למד שמואל גם חכמות אחרות. הוא היה מפורסם בחכמת התכונה (האסטרונומיה) והרפואה. קראו לו בשם "שמואל ירחינאה" (שמואל התוכן). הוא אף התבטא על עצמו: "נהירין לי שבילי דרקיעא כשבילין דנהרדעא" (נהירים לי שבילי הרקיע כשבילי עיר מולדתי נהרדעא). אף ברפואה היה מפורסם מאד, ולתרופותיו יצא שם גדול. 

 
לאחר שרכש ידיעות רבות בתורה ובחוכמה, ביקש שמואל לקבל "סמיכה" לרבנות ולשם כך נסע לארץ ישראל לרבי יהודה הנשיא. באותם הימים רבי יהודה סבל קשות בעיניו ושמואל רקח לו תרופה שריפאה אותו. רבי ביקש לתת לו סמיכה אך בשל מניעות שונות לא יכל לעשות זאת, כשהתעצב על כך הרגיע אותו שמואל באומרו: "מצאתי כתוב בספרו של אדם הראשון, מקום שרשומים בו כל גדולי וחכמי בישראל, ושם נאמר: "שמואל 'חכם' יקרא ורבי לא ייקרא, ועל ידו יירפא רבי" אם כן הרי מן השמיים עכבוני מלקבל סמיכה". 

 
כאשר שב שמואל לעירו נהרדעא כבר התפרסם שמו ומינוהו לדיין העיר. באותם הימים היו רב ושמואל גדולי החכמים שבבבל, וחכמי ארץ ישראל כינו אותם בשם "רבותינו שבבבל". 

 
לאחר פטירת רב שילא ראש ישיבת נהרדעא, סירב רב למלא את מקומו בעירו של שמואל ונדד לסורא, שם הקים ישיבה גדולה. שמואל קיבל את התפקיד הרם של ראשות ישיבת נהרדעא. בשתי הישיבות הגדולות הללו בסורא ובנהרדעא למדו אלפי תלמידים, וכך הפכה בבל למרכז יהודי תורני חשוב. 

 
הודות לחכמתו הגדולה, התידד שמואל עם שבור מלך פרס. פעם שאל אותו המלך: "הן חכם גדול הנך, אמור לי, אם כן, מהו החלום שאראה הלילה"? 

 
השיב לו שמואל: "בחלומך תראה שחילות רומי ישבו אותך, ויאסרוך לטחון גרעיני תמרים בריחיים של זהב". המלך התהלך כל אותו היום בהתרגשות גדולה תוך מחשבה על חלום הבלהות שהבטיח לו שמואל כי יפקדהו בלילה. כמובן, מרוב מחשבות אכן הופיע בחלומו מחזה זה... 

 
שמואל תקן הרבה תקנות חשובות, וכן התקין יחד עם רב תפילות שונות. אחת התפילות "ותודיענו" היא תפילה הנאמרת ביום טוב החל במוצאי שבת (במקום תפילת "אתה חוננתנו"). 

 
לשמואל היה ידיד טוב בשם אבלט, שהיה מלומד פרסי וחוזה בכוכבים. פעם ישבו השניים ושוחחו ביניהם, כאשר לנגדם יצאה קבוצת אנשים לקצור. אמר אבלט לשמואל: "אחד מן האנשים ההולך לשם לא ישוב בחיים, כי נחש יכישנו וימות". "אם הלה יהודי הוא" השיב לו שמואל, "הוא ישוב בריא ושלם, כי בני-ישראל לא תלויים במזל אלא בהתנהגותם". 

 
כששבו קבוצת הקוצרים התפלא אבלט לראות את אותו אדם חוזר בריא ושלם מבלי כל פגע! בפליאה הוא קם ממקומו, ניער את חבילת העשב שעל גבו והנה נחש קצוץ נפל מתוכה. התברר כי נחש זה היה צריך להכישו, אך זכות מיוחדת הגינה עליו ממוות בטוח. 

 
שאל שמואל את היהודי: "האם קיימת היום מצווה מיוחדת אשר בזכותה ניצלו חייך"? 

 
והיהודי סיפר: "אנו נוהגים לקבץ את כל ככרות הלחם ולאכול יחדיו. היום הבחנתי כי אחד מן הפועלים, עני מרוד, הגיע ללא לחם בסלו. מה עשיתי? כשקיבצתי את הככרות, עשיתי עצמי כאילו אני נוטל את חלקו ולמעשה לקחתי מסלי והוספתי עבורו, כדי שלא יתבייש". 

 
"מצווה גדולה קיימת"! קרא שמואל, ולאחר-מכן דרש בנושא ואמר כי על כך נאמר "צדקה תציל ממוות". 

 
לאחר שנפטר רב בסורא, מיאנו תלמידי הישיבה למנות להם רב חדש מחמת כבודו של שמואל, והיו פונים אל שמואל בשאלות כאילו היה רבם. 

 
אך לאחר שנפטר שמואל, מינו את רב הונא כראש הישיבה בסורא, ורב יהודה יסד את הישיבה המפורסמת בפומבדיתא.