הגרי"ש נולד בא' בניסן תר"ע בשאוול שבליטא לרב אברהם לוינסון, רב בהומל, וחיה מושא, בתו של רבי שלמה עלייאשוו, בעל "לשם שבו ואחלמה". עלה ארצה בשנת תרפ"ד, ולצורך כך אימצה משפחתו את שם משפחתה של אמו, שעוברת עם השנים לשם "אלישיב".
לאחר עלייתו ארצה השתכן בשכונת מאה שערים בירושלים. אך העיד בזקנותו לנינו (בס' מפי האיש) שעדיין אינו מכיר את רחובות שכונתו. כבר מילדותו היה מתמיד ושקדן באהבת תורה בלתי נלאית. בשנת תר"ץ (1930), בהיותו כבן 20, נשא לאשה את מרת שיינא חיה, בתו של הצדיק הרב אריה לוין זצ"ל.
הוסמך לרבנות בשנת תרצ"ח על ידי ראב"ד העדה החרדית הרב זעליג ראובן בנגיס לאחר מכן למד תקופה קצרה בבית המדרש "אוהל תורה" שבראשות הרב שמואל יצחק הילמן. אך אופיו הביישני גרם לו לחזור וללמוד לבדו בביהמ"ד הסמוך לביתו. מאז פטירת אביו החל למסור שיעורי אגדה ומחשבת היהדות, בבית הכנסת של חברת "תפארת בחורים" במאה שערים. עם השנים משתתפי השיעור המקוריים עקרו מהאזור והשיעור שינה גוון וצורה ונעשה שיעור עיוני בתלמוד אליבא דהלכתא.
בראשית ימי אברכותו סבל הרב ממצוקת רעב גדולה וגדולי תורה שהכירוהו נחלצו לסייעו במשרות רמות שיעזרו לכלכלת ביתו. כך מונה הרב אלישיב למשרת רב העיר רמלה, אך לאחר זמן קצר התפטר מתפקידו. בשנת תשי"א מונה בידי הרב יצחק אייזיק הלוי הרצוג לכהן כדיין בבית הדין הרבני האזורי בירושלים. זמן קצר אחר כך מונה לדיין בבית הדין הרבני הגדול, כהונה בה כיהן במשך כעשרים שנה, עד לפרישתו בשנת תשל"ג בעקבות פרשיית היתר הממזרים. משלהי ימי הרב אלעזר מנחם מן שך, היה למנהיג הבולט של הציבור הליטאי בישראל יחד עם עמיתו ורעו הגראי"ל שטיינמן.
פסקיו העיקריים שנעשו אבני דרך בעולם הפסיקה הם תשובותיו הכתובות על ידו בפסקי הדין הרבניים . כמו כן רבבות שמועות הלכתיות בכל חלקי התורה נפוצות בין הרבנים שומעי לקחו ומהם פורסמו ברבים.
הרב אלישיב נפטר בכ"ח בתמוז תשע"ב, בגיל 102, ונטמן בהר המנוחות.
לרגל יומא דהילולא אספנו כמה סיפורים מיוחדים אודותיו:
א. גאונותו ובקיאותו היו למופת. ישנם תלמידי חכמים המתמקצעים בנושא מסויים בתורה ומשקיעים בו הרבה עמל וידע. סיפר גאון אחד שלמד וחקר כמה שנים את סוגיית צורת האותיות בכתיבת סת"ם וכאשר הגיע אל הרב נוכח לדעת שעדיין רחוק מלדעת הכל… וכך היה לרב שהתמקצע בסוגיית חליצה. גם הוא היה מופתע שמכל הרבנים, הרב אלישיב שלט בכל המקורות הראשונים והאחרונים אפילו הנדחים ביותר. דבר לא נעלם ממנו.
ב. הקדיש מיומו דקות קצובות עבור הציבור לשם מצוות גמילות חסדים. בהם ענה בחדות כתער להלכה לכל שואל כפי עניינו המדוייק. דבר זה גרם לפסקים כביכול סותרים וחוסר יכולת להאמין ולקבל פסקים בשמו אלא אם כן המוסר היה רגיל בתורתו וחקר כל שאלה ותשובה היטב (כמו הרב דרזי והיו עוד ). למרות קדושת זמנו בחר פעם לבקר זמן רב את ידידו מרן הגר"ע יוסף כשהיה מאושפז לאחר נפילה מסולם בביתו בעת שעלה להביא ספר, ונימק שמי שנחבל באהבתו את התורה, דינו שונה.
ג. ישרותו ואהבת האמת שלו כדיין וכרב וכאדם פרטי, היו קיצוניות. הייתה לו יכולת נדירה לזהות שקרן או מערבב במבט חטוף. כך חילץ עגונות והכריע בפסקי דין סבוכים על פי התורה. הקפיד לומר תודה לכל מיטיב, גם בזקנותו. הקפיד מאוד על תשלום שכר שכיר ביומו ובכלל הצליח להטביע בקרב יראים ורבים , לפעמים רק בהבעת פנים של מורת רוח ומיאוס, את הכלל שאפילו בניהול מוסדות והקדשות וכיוצא בזה כשיש צידודים להטות ולצדק את הדין כביכול. שהדבר אסור בתכלית ומשחית את הנפשות הפועלות .
ד. יראתו תמימותו ואהבתו הנדירה ניכרו לעין כל כאשר נאלץ להפרד מהגמרא לתפילה וכיוצא. היה מרים את הכרך מעט. מכופף את ראשו ונושק לספר כמה פעמים בערגה. פותח מעט ומנשק שוב את הדפים. אשרי עין ראתה!זכותו וזכות תורתו תגן בעדנו שנזכה להתמיד בתורה באהבה רבה ובישרות ונזכה להגדיל תורה ולהאדירה אכי"ר.
