عبدالرحیم ربانی از مراجعی همچون شیخ محمدکاظم شیرازی، سید عبدالله بلادی بوشهری و آقابزرگ تهرانی اجازه اجتهاد داشت. او پس از فوت آیت الله بروجردی بروجردی به طرح و تبلیغ مرجعیت روح الله خمینی پرداخت، در دوران حکومت پهلوی بارها دستگیر شده و ده سال را در زندان شهرهای کاشمر جیرفت فیروزآباد و سردشت در تبعید به سر برد.

او از حلقه یاران نزدیک به هاشمی و همنشین افرادی چون آیت الله طالقانی و منتظری در سال‌های بعد از انقلاب بود. 

پس از انقلاب در سال ۱۳۵۹ با نظر آیت الله خمینی به عضویت فقهای اولین دوره شورای نگهبان درآمد. هم‌زمان با نا آرامی‌ها در غرب ایران و برای فرونشاندن اعتراضات در کردستان و آذربایجان  از سوی آیت الله خمینی عازم این مناطق شد. او خود را از عناصر اصلی تثبیت ولایت فقیه معرفی کرده است: «برادران نوعا ولایت فقیه را به مانند آقای بنی صدر، به معنی نظارت می‌گرفتند و من بودم که در کمیسیون مکرر در این زمینه سخنرانی کردم و پافشاری نمودم. آنچه در مجلس خبرگان نظر داده‌ام قسمتی در صورت جلسات آمده است و قسمتی در نوارهای کمیسیون خصوصی موجود است. در آن دوره، بارها با امام ملاقات کرده ام و در اطراف مسائل روز و مسائل استان صحبت نمودم.»

در هشتم فروردین ۱۳۶۰ یک موتورسوار عضو گروه فرقان، جلوی بیمارستان حافظ شیراز، به سوی وی تیراندازی می‌‏کند و از ناحیه گردن زخمی می‌‏شود، اما با تلاش پزشکان از مرگ نجات می‌یابد تا اینکه در ۱۷ اسفند ۱۳۶۰ در حالی که برای شرکت در جلسه شورای نگهبان عازم تهران بود، بین راه اصفهان و قم در تصادفی مشکوک جان خود را از دست داد. هاشمی رفسنجانی در یادداشتی درباره روزی که خبر تصادف ربانی به مجلس رسید، نوشته است: «خبر مرگ آقای ربانی شیرازی در اثر تصادف اتومبیلش نزدیک دلیجان، دیروز و امروز از مسائل روز بود. امروز صبح قبل از دستور در مجلس در آن باره ‏و حق ایشان بر انقلاب، صحبت کردم. احمد آقا تلفن کرد. قرار شد فاتحه ‏ای از طرف دفتر امام گرفته شود. شدیدا متأثریم. همرزم تمام دوران مبارزه بودند.»

سوابق: نمایندهٔ ولی فقیه در استان‌های کردستان، آذربایجان و فارس، عضو مجلس خبرگان قانون اساسی و مجلس خبرگان رهبری و شورای نگهبان بود.