לבו של אליעזר בן הורקנוס נמשך לירושלים, שם היו תלמידי חכמים וישיבות לרוב. מחשבותיו היו עוסקות בגדולת הבורא וביופי הבריאה, אביו ואחיו חשבו כי הוא עצלן ולא יוצלח.
לא הרחק מירושלים חי יהודי בשם הורקנוס. להורקנוס, שהיה מעשירי ישראל, היו כמה בנים וביניהם אליעזר. אליעזר לא למד תורה מעודו; החינוך שקיבל כלל עבודות אדמה כחרישה, זריעה, מרעה צאן ועבודות חקלאיות. אולם לבו נמשך לירושלים, שם היו תלמידי חכמים וישיבות לרוב. מחשבותיו היו עוסקות בגדולת הבורא וביופי הבריאה, אביו ואחיו חשבו כי הוא עצלן ולא יוצלח.
אך טבעי היה שהאחים היו מטילים על אליעזר את העבודות הקשות יותר. בעוד הם חרשו בבקעה, שם האדמה נוחה ורכה לחרישה, שלחו אותו לחרוש בהר. תוך כדי חרישה נתקלה לפתע הבהמה בסלע, מעדה ושברה את רגלה. אליעזר החליט לברוח ולצאת במסע רגלי אל ירושלים ללמוד תורה.
האחים שגילו את המחרשה הנטושה מיהרו לספר לאביהם כי בנו הסורר נמלט. בכעסו נשבע הורקנוס כי לא יקבל אותו שוב לביתו.
לאחר מסע מפרך ומייגע הגיע אליעזר לירושלים כשהוא עייף, רצוץ ורעב, ומיד שם פעמיו לישיבה גדולה בראשות רבן יוחנן בן זכאי. רבן יוחנן בן זכאי ראה לפניו בחור מבוגר, למעלה מגיל עשרים, שלמרות בורותו בתורה היה בעל רצון לוהט להתקדם וללמוד. הוא צירף אותו לתלמידי הישיבה ואליעזר התמסר מיד ללימוד בכל מאודו. הוא התקדם בלימודיו ולמרות מצוקת הרעב ממנה סבל באותה תקופה לא התלונן לאיש.
כעבור זמן, בבוקר בהיר אחד, הופיע הורקנוס בבית מדרשו של רבן יוחנן בן זכאי בירושלים, סיבת בואו הייתה לקבל מרבן יוחנן בן זכאי הסכמה להדיר את אליעזר, הבן הבורח, מרכושו ומירושתו. לרבן יוחנן בן זכאי נודע מיד כי תלמידו האהוב אליעזר אינו אלא בנו של הורקנוס זה. הוא לא גילה זאת להורקנוס אלא הזמין לבית המדרש את כל גדולי וחכמי ירושלים ואת הורקנוס ביניהם. כשהתאספו כולם בקש רבן יוחנן בן זכאי מר' אליעזר שיאמר דברי תורה.
דרשתו של רבי אליעזר היתה מלאה בתורה ובחוכמה וכל הנוכחים התפעלו מדבריו, אך יותר מכולם התפעל הורקנוס – הוא לא ידע האם הוא רואה זאת בחלום או בהקיץ. כשסיים בנו אליעזר את דרשתו, ניגש הורקנוס לרבן יוחנן בן זכאי והכריז בפני הנוכחים: "באתי להדיר את בני מנחלתו, אולם עתה אני אומר שהוא יירש את כל נכסיי, גם את חלק אחיו". אליעזר סירב להצעה הנדיבה והצהיר כי לא יקח נכסים שלא שייכים לו.
שמו של רבי אליעזר התפרסם בין כל שוחרי התורה, והוא נשא לאישה את אמא שלום, בתו של רבן שמעון בן גמליאל נשיא ישראל.
בימי מצור בירושלים שקדם לחורבן הבית השני, הצליח רבן יוחנן בן זכאי לצאת את ירושלים כשהוא מתחזה למת; רבי אליעזר היה בין המלווים אותו, ומאוחר יותר הצטרף אליו לעיר יבנה.
זכרון מופלא היה לר' אליעזר, כל מה שלמד נשאר בזכרונו ולא נשתכחה ממנו אף מלה אחת. רבן יוחנן בן זכאי אמר עליו כי הוא "בור סוד שאינו מאבד טפה", כלומר: כאותו בור מסויד אשר אף טיפת מים אחת לא תאבד ממנו כך לא תשכח ממנו אף הלכה אחת. והוסיף: "אם יהיו כל חכמי ישראל בכף מאזניים (אחת), ואליעזר בן הורקנוס בכף שניה, הרי הוא מכריע את כולם".
רבי אליעזר יסד ישיבה בעיר לוד, היא התפרסמה בתלמידיה הגדולים בתורה ובחכמה.
הרבה אמרות ופתגמים אמר ר' אליעזר לתלמידיו, אחת מאמרותיו היא: "שוב יום אחד לפני מיתתך", כשהתלמידים שאלו: "כלום יכול האדם לדעת מתי הוא יום אחד לפני מיתתו"? השיב להם כי אכן לכך התכוון. מאחר ואין האדם יודע מתי ימות, הרי עליו לחזור בכל יום בתשובה שמא ימות מחר.
לפני מיתתו התאספו רבים מחבריו ותלמידיו סביב למיטתו. באותה הזדמנות הם שמעו ממנו דינים והלכות רבות. הוא השיב על שאלות שונות ששאלוהו, וכך, בערב שבת אחד עם ערוב היום, בהשיבו על אחת השאלות "טהור", פרחה נשמתו הטהורה.
ר' אליעזר בן הורקנוס נקרא במשנה "רבי אליעזר הגדול" או "רבי אליעזר" סתם. הוא חי בזמן בית המקדש השני.
