החכם־צבי שימש רב ראשי בשלש הקהילות האחיות אלטונה, המבורג וונדסבק, הידועות בכינוים המקוצר קהילות אה"ו. שם משפחתו של רבי יעקב היה, איפוא, אשכנזי. הוא זכה לכינויו עמדין, לפי שם העיר, בה כיהן כרב. הוא גם היה ידוע בכינויו "יעבץ" — ראשי תיבות של יעקב בן צבי.

עד גיל 17 ישב רבי יעקב בבית אביו, אשר באלטונה ולמד תורה בהתמדה מפי אביו הגאון. מאביו הוא ירש גם מידה רבה של קנאות נגד אמונת הכזב של תנועת נאמני משיח־השקר שבתי צבי, אשר באותם הימים היתה עדיין פעילותם ניכרת בציבור, למרות שש״צ עצמו כבר יצא לשמד והתאסלם.

בשנת תע״ה בא רבי יעקב לישיבת ברוד, אשר במורביה, שפעלה אז בהנהגת רבי מרדכי בן נפתלי הכהן. כעבור שנה הוא נשא את רחל, בתו של ראש הישיבה לאשה וישב שלש שנים בבית חמיו, כשהוא סמוך על שולחנו ולומד תורה בשקידה. לאחר מכן הוא החל לשלוח ידו במסחר של אבני חן, בסרבו להתפרנס ממשרת רבנות כל שהיא.

רבי יעקב הרבה בנסיעות ולמרות שהתמיד בסרובו לקבל על עצמו עול של רבנות, הוא נהג לדרוש ברבים ותרם רבות לחיזוק חיי התורה והמצוות בקהילות השונות בהן ביקר.

בשנת תפ"ח (1728) הגיע רבי יעקב לעיר עמדין. כאן בחרו בו ראשי הקהילה כרב העיר ובהיותו עייף ושבע נדודים. הוא קיבל את המשרה.

במשך ארבע שנים שמש רבי יעקב כרבה של עמדין ושמו נקשר בעולם התורני עם שמה של עיר זו. אולם בגלל קנאותו היתרה הוא רכש לעצמו מתנגדים רבים וגם מצב בריאותו לא היה תקין ולכן החליט בשנה החמישית לעזוב את עמדין ולחזור לעיר מולדתו אלטונה. 

לאחר שובו הוא קבל רשות מהמלך לקנות בית ולייסד בו בית דפוס. יחד עם זאת הוא המשיך במסחר היהלומים ופרנסתו היתה מצויה בשפע. ראשי הקהילה של אלטונה הרשו לו לקיים בביתו מנין לתפילה, בגלל מצב בריאותו הרופף. באלטונה, עיר מולדתו, בילה רבי יעקב את ארבעים השנים האחרונית של חייו. כאן הוא הדפיס רבים מספריו, אותם הוא נהג לחלק חינם לכל דורש.

מלבד בקיאותו הגדולה בים התלמוד והפוסקים, היה רבי יעקב עמדין ידען גדול גם בתורת הקבלה, וחכמת הדיקדוק וכן ידע שפות רבות. בין היתר הוא שלט בשפה הלטינית וההולנדית ונוסף לכך היה לו עט סופר מהיר ושנון. הוא היה איתן בדעותיו ובויכוחים שניהל, לא חס על איש. ואכן התעוררו לא אחת חילוקי דעות בינו ובין שני רבני העיר, רבי משה חגית, רבה של הקהילח הפורטוגזית ורבי יחזקאל קצגלבוגן, הרב האשכנזי, שירש את משרתו של החכם צבי, לאחר פטירתו.

טיבעו הקנאי לא הסב לרבי יעקב רב נחת. גם בחייו הפרטיים עברו על רבי יעקב עמדין זמנים קשים. בנו האהוב מת עליו בהיותו ילד בן שבע וגם אשתו נפטרה לעולמה בדמי ימיה. מעוגמת נפש, שנגרמה לו על ידי מאורעות אלה. התערער מצב בריאותו של רבי יעקב, ובשנת תק״ג הוא היה חולה קשה, עד שהרופאים אמרו נואש. אולם ברחמי השם הוא התאושש, מצב בריאותו השתפר והוסיף שנות חיים. עתה הוא התחתן שנית ונשא לאשה את בתיה צביה, בת אחיו אפרים. בתקופה זו הוא הוציא לאור את סידורו הידוע בשם סידורו של רבי יעקב עמדין.

בשנת תק״ט (1749) נפטר רבי יחזקאל קצנלבוגן. כאשר רבי יעקב סירב לקבל את הרבנות, בחרו ראשי הקהילה את הרב יהונתן איבשיץ המפורסם, שכיהן קודם כרבה של מץ. רבי יהונתן איבשיץ, נתקבל באלטונה בכבוד גדול וגם רבי יעקב חלק לו כבוד. גם רבי יהונתן לא נשאר חייב והתיחס אל רבי יעקב עמדין בכבוד גדול, כך ששני הגדולים התידדו ביניהם.

אולם ידידות זו לא האריכה ימים. רבי יעקב חשד ברבי יהונתן, כי הוא נמנה על חסידיו החשאיים של שבתי צבי. חשד זה גבר, כשרבי יעקב ראה קמעות שכתב רבי יהונתן ונתנם לאנשים שונים, שישמשו להם סגולה. רבי יהונתן מצידו הכריז רשמית, כי להאשמה נגדו אין כל יסוד. אולם רבי יעקב דרש שיטילו עליו חרם. ראשי קהילת אלטונה צידדו ברב שלהם, שהיה ידוע כתלמיד חכם מובהק וכצדיק והאשימו את רבי יעקב עמדין בכך שקנאותו העבירה אותו על דעתו. 

אש המחלוקת התלקחה ורבי יעקב ראה את עצמו נאלץ להמלט מהעיר, בהשאירו את אשתו וילדיו באלטונה. הוא בא לאמסטרדם, שם כיהן גיסו, רבי אריה לב, כרב המקום. באמסטרדם מצא רבי יעקב עמדין ידידים רבים. שתמכו בו במאבקו נגד רבי יהונתן וקהילת אלטונה.

בינתיים הגישה אשתו של רבי עמדין תלונה למלך, נגד קהילת אלטונה והמלך הוציא צו, בו נאמר, כי רבי יעקב עמדין גורש מאלטונה על לא עוול בכפו והוא רשאי לחזור מבלי שיאונה לו כל רע.

בשנת תקי״ב (1752) חזר רבי יעקב עמדין לאלטונה והמשיך את מלחמתו נגד רבי יהונתן. הממשלה שוב התערבה והשקיטה את המחלוקת, שנפוצה בינתיים גם בקהילות אחרות ונמשכה זמן רב. לבסוף הכירו כולם בצידקת רבי יהונתן איבשיץ והמחלוקת השתתקה.

אם היו חילוקי דעות ביחס לקנאותו של רבי יעקב, ועמדתו במחלוקת שעודד, הרי גאונותו בתורה ולמדנותו המופלגת לא היו מוטלות בספק. דבר זה ניכר גם מהשורה הארוכה של ספרים שחיבר, ביניהם: לחם שמים, פירוש על המשניות בשני חלקים, שאלת יעבץ, שאלות ותשובות (שני חלקים. חלק ראשון עם 172 תשובות וחלק שני עם 200 תשובות!), מטפחת ספרים, על הזוהר וקבלה, בשני חלקים. בין השאר הוא מביע ביצירה זו את התנגדותו ליצירותיהם הפילוסופיות של הרמב״ם ואחרים.

כמו כן חיבר רבי יעקב עמדין שורה של ספרים בתחום הדרש וקונטרסים רבים בענין המחלוקת שלו עם רבי יהונתן איבשיץ (כמו עדות ביעקב, תורת הקנאות ועוד). משמעות היסטורית מיוחדת נודעת לחיבורו מגילת ספר, בו הוא מתאר את קורותיו של אביו החכם צבי ומעלה זכדונות מעניינים, בהם משתקפים מאורעות התקופה.

רבי יעקב עמדין פטר בראש חודש אייר שנת תקל״ו. בשנה השבעים ושמונה לחייו.