شاگردی آیت الله خمینی، یزدی را با انقلابیون (انقلاب ۵۷) آشنا کرد. در واقع او با هجرت به قم بیش از آنکه سرگرم تحصیل شود،‌ در فضایی قرار گرفت که فرصت آشنایی با چهره‌های انقلابی اطراف آیت الله خمینی را پیدا کرد. همین آشنایی سبب شد تا آیت الله خمینی او را به همراه جمعی از طلاب، مامور کرد تا با سخنرانی در شهرهای مختلف ایران، پیام نهضت را به مردم برسانند. در پی این سخنرانی‌ها، یزدی چند بار از سوی ساواک دستگیر و تبعید شد. 

با پیروزی انقلاب و بازگشت آیت الله خمینی به قم، محمد یزدی مسئولیت دفتر رهبر ایران را در این شهر عهده دار شد. مسئولیتی که آغاز ورود او به قدرت در نظام جمهوری اسلامی بود. محمد یزدی سپس ریاست دادگاه انقلاب قم را عهده دار و به امر قضاوت مشغول شد. او عضو مجلس خبرگان قانون اساسی نیز بود. 

محمد یزدی در انتخابات اولین دوره مجلس شورای اسلامی از حوزه انتخابیه قم، اعلام کاندیداتوری کرد و به مجلس راه یافت. او در انتخابات مجلس دوم از تهران راهی مجلس شد. او در این دو دوره بر کرسی نایب رئیسی مجلس تکیه زده بود. یزدی اما در دوره سوم مجلس که به پیروزی جریان چپ ختم شد از ورود به مجلس شورای اسلامی بازماند تا اینکه در سال ۱۳۶۷ با استعفای آیت الله صافی گلپایگانی از عضویت در شورای نگهبان، با حکم آیت الله خمینی، صاحب یکی از کرسی‌های فقها در شورای نگهبان شد. 

یک سال بعد در سال ۱۳۶۸ زمانی که آیت الله خامنه ای به رهبری رسیده بود، از طرف وی به ریاست قوه قضائیه منصوب شد.

انتصاب‌اش به ریاست قوه قضاییه برای بسیاری غیر منتظره بود چرا که پس از ناکامی در انتخابات مجلس سوم، اگرچه عضو شورای نگهبان بود ولی تا حد زیادی به حاشیه رانده شده بود. البته شاید هرکس به جای علی خامنه‌ای هم بر کرسی ولایت فقیه تکیه می‌زد، افرادی همچون محمد یزدی را از پستو بیرون می‌کشید و به او میدان می‌داد، چراکه محمد یزدی را به جرات می‌توان یکی از سرسخت‌ترین مدافعان ولایت فقیه در مجلس خبرگان قانون اساسی دانست. محمد یزدی از جمله روحانیونی است که مواضع‌اش در حمایت از ولایت فقیه هیچ تغییری نکرده و اگر به مشروح مذاکرات قانون اساسی مراجعه شود، کمترین تغییری در دیدگاه آن روزهایش با تفکرات امروزش که بر صندلی ریاست مجلس خبرگان تکیه زده، مشاهده نمی‌شود.

در روزهایی که چهره‌هایی همچون ابوالحسن بنی صدر، ناصر مکارم شیرازی و … نطق‌های محکم و مستدلی علیه گسترده بودن اختیارات ولی فقیه، قرائت می‌کردند، محمد یزدی بیشترین دفاع را در حمایت از ولی فقیه داشت. هر چند این ادعا که یزدی در جریان انتخاب جانشین آیت الله خمینی از طرفداران رهبری آیت الله گلپایگانی بوده توسط نزدیکان وی تکذیب شده، ولی رنگ ولایت پذیری‌اش اینقدر پررنگ بود که آیت‌الله خامنه‌ای او را به حلقه یاران خود فراخواند و او نیز در جریان اعلام مرجعیت علی خامنه‌ای لطف‌اش را جبران کرد. یزدی در حالی مرجعیت آیت‌الله خامنه‌ای را در شیپور می‌دمید که بیشتر علما و فقهای برجسته قم همچون آیت‌الله منتظری، نه تنها مرجعیت‌اش را قبول نمی‌کردند بلکه در اجتهاد رهبر شک داشتند. یزدی در خصوص اعلام مرجعیت آیت الله خامنه‌ای در نماز جمعه تهران می‌گوید: «خود بنده در نماز جمعه اعلام کردم. تعبیرم هم این بود که بیننا و بین‌الله، ایشان اگر بالاتر از آقایانی که الان هستند نباشند، کمتر هم نیستند و ایشان مرجع‌ هستند. شعار «هم مرجعي و هم رهبري» هم از آنجا به وجود آمد.»

ریاست محمد یزدی بر قوه قضائیه برای پنج سال دوم نیز تمدید شد تا او در مجموع ده سال سکاندار ریاست قوه قضائیه باشد. مدیریتی که البته از سوی آیت الله هاشمی شاهرودی رئیس بعدی قوه قضائیه زیر سوال رفت. آیت الله هاشمی شاهرودی قوه قضايیه تحت مدیریت آیت الله یزدی را به «ویرانه» تشبیه کرد. آیت الله هاشمی شاهرودی وقتی جایگزین محمد یزدی در قوه قضاییه شد اعلام کرد که «یک ویرانه تحویل گرفته است». توصیفی که پیش از این سابقه نداشت کسی از ریاست قبلی دستگاهی که تحویل گرفته ارائه کند.

محمد یزدی در سال ۱۳۷۸ پس از واگذاری ریاست قوه قضائیه به هاشمی شاهرودی، به شورای نگهبان بازگشت. او از آن تاریخ به بعد همواره عضو فقهای شورای نگهبان بوده و هست.