پدرش اسماعیل آوایی از عرفا و زاهدان شهر دزفول بود. سبقه دین داری و اعتقادی‌اش، او را به سلوک دراویش نزدیک کرده بود به طوریکه روزنامه شرق در گزارشی از زندگینامه علیرضا آوایی به ذکر اتفاقی در جریان رسیدگی به اعتبارنامه علیرضا آوایی پرداخته و می‌نویسد: «یکی از نمایندگان مجلس در حاشیه صحن به آوائی گفته: ... شما یک مسئله بزرگ دارید که اگر از آن تبری نجویید، نه تنها به شما رای نخواهم داد بلکه به همه خواهم گفت به شما رای ندهند! آوائی پرسید، چه مسئله ای؟ نماینده مزبور با اشاره به تصویری از سنگ آرامگاه پدرشان، سید اسماعیل، گفته: پدر شما متاسفانه درویش بوده و عقاید انحرافی داشته است! باید در حضور جمع از پدرتان و سلوک و سیره او تبری بجویید تا من به شما رای دهم! آوائی پاسخ می دهد که:... لطفا این را بدان و به هرکس هم که خواستی بگو که اولا من هیچ وقت درویش نبوده ام، در ثانی اگر فکر می کنید برای جلوس بر یک صندلی حاضرم از پدرم که بیش از خیلی از آقایان مدعی دیانت، به زهد و جهد و خدمات او اشراف دارم، برائت جویم، سخت در اشتباهید و هرگز چنین چیزی از من نخواهید شنید... .متعاقب این گفت‌وگوی تند بود که در فضای مجازی نوشتند:... با غفلت مسئولین امر، یک درویش فراماسون و ضدانقلاب در مسئولیت‌های عالی نظام رخنه کرده و اکنون قرار است وزیر دولت روحانی هم بشود...».

برادر بزرگ اش، احمد آوایی، متولد ۱۳۳۰، از اعضای گروه «منصورون» بود که در سال ۱۳۴۹ در خوزستان شکل گرفت. هدف این گروه، مبارزه ی مسلحانه با رژیم شاه بود. او پیش از انقلاب دستگیر و به مدت سه سال در زندان ساواک بود. او بعد از پیروزی انقلاب به فرماندهی سپاه دزفول رسید.

احمد آوایی در دوره هفتم مجلس شورای اسلامی، نمایندگی مردم دزفول را عهده دار بود. آوایی در مجلس هفتم عضو کمیسیون امنیت ملی و سیاست خارجی بود. او از چهره های انقلابی استان خوزستان که سالها با دریادار شمخانی وزیر سابق دفاع و دبیر فعلی شورای عالی امنیت ملی همراه بوده است. صلاحیت او برای ورود به مجلس دهم تایید نشد ولی بلافاصله توسط شمخانی به معاونت پارلمانی دبیر شورای عالی امنیت ملی منصوب شد. 

در صفحه ۲۳ کتاب خاطرات احمد آوایی آمده که او ۵ برادر و یک خواهر دارد. عنایت الله برادر بزرگتر دبیر بازنشسته آموزش و پرورش است. اسدالله دیگر برادر او، روحانی است. محمد علی برادر کوچکتر وکیل دادگستری و مسئول سازمان آب دزفول است.

برادر دیگرش اسدالله آوایی در سال ۱۳۸۰ با حکم محسن اراکی نماینده ولی فقیه در مرکز اسلامی انگلستان، به عنوان مسئول مرکز اسلامی نیوکاسل عازم انگلستان می شود. به نوشته ایندیپندنت فارسی،

اسدالله آوایی تا سال ۱۳۸۵ به عنوان رئیس مرکز اسلامی نیوکاسل به همراه خانواده‌اش در این شهر زندگی می‌کند. پس از انتخاب محمود احمدی‌نژاد به ریاست جمهوری، وی خانواده‌اش را در انگلستان نگه می‌دارد و خود به ایران بازمی‌گردد تا فعالیت خود را در «موسسه آینده روشن» و «بنیاد مهدی موعود» توسعه دهد. آن موسسه و بنیاد در سال ۱۳۸۰ و برای ترویج «مهدویت» تشکیل شده‌اند و اسدالله آوایی، معاونت بین‌الملل آن‌ها را به عهده داشته است. نام اسدالله آوایی زمانی در رسانه های فارسی زبان خارج از کشور بیشتر شنیده شد که پسرش علی آوایی، کاندیدای حزب لیبرال دموکرات از شهر نیوکاسل انگلستان برای عضویت مجلس بریتانیا شد.  

تنها فرزند اش (دختر) سال ۱۳۹۴ درگذشت. محمد مهدی اعلایی از مدیران سازمان ثبت احوال که مدتی با علیرضا آوایی در این سازمان کار کرده در این خصوص می نویسد: «شاید یکی از سخت‌ترین امتحان‌ها نشستن در سوگ فرزند باشد، آن‌هم ناگهانی. دختر ۱۹ ساله دانشجوی حقوقت، شب به رختخواب برود و صبح که می‌روی برای نماز بیدارش کنی با پیکر بی‌جان ناشی از ایست قلبی‌اش مواجه شوی.»