पंतप्रधानांनी लोकसभा बरखास्तीचा आणि नव्याने निवडणूका घेण्याचा निर्णय जाहीर करून सर्वांना आश्चर्याचा धक्का दिला. १९७७ मध्ये लोकसभेची निवडणूक ठरल्याप्रमाणे झाली. काँग्रेसचा पराभव होऊन इंदिरा गांधींची सत्ता संपुष्टात आली. जयप्रकाश नारायण यांच्या नेतृत्वाखाली लोकशाहीवादी काँग्रेसविरोधी प्रमुख पक्ष एकत्र येऊन त्यांनी ''जनता पक्ष'' या नांवाने पर्यायी पक्षाची स्थापना केली. त्यात संघटना काँग्रेस, समाजवादी पक्ष, भारतीय जनता पक्ष, लोकदल सामील झाल्याने काँग्रेसपुढे मोठे आव्हान उभे राहिले. लोकमत आणीबाणी विरुद्ध बनलेले होते. त्याचा फायदा जनता पक्षाला मिळाला. निवडणुकीत त्यांनी बहुमत मिळविले. पंतप्रधान कोणी व्हायचे याबद्दल बराचसा खल झाला, बराच वादही झाला. मोरारजीभाई, चरणसिंग, जगजीवनराम हे तिघेही इच्छुक होते आणि प्रयत्‍नांची पराकाष्ठा करीत होते. अखेर मोरारजीभाई पंतप्रधान आणि चरणसिंग उपपंतप्रधान अशी तडजोड होऊन जनता पक्ष केंद्रात सत्तारूढ झाला. काँग्रेस पक्षाने मुरब्बी, मुत्सद्दी आणि नांवाजलेले संसदपटू यशवंतराव चव्हाण यांच्याकडे विरोधी पक्ष नेतेपद सोपविले. इंदिरा गांधी पराभूत झालेल्या होत्या. यशवंतरावांनी विरोधी पक्ष नेत्याची जबाबदारी समर्थपणे सांभाळली. मोरारजींचा हटवादीपणा, संयुक्त समाजवाद्यांचा तर्‍हेवाईकपणा आणि जनसंघाचा जातीयपणा यामुळे जनता पक्षात वर्षभरात मतभेद सुरू झाले. वाजपेयी परराष्ट्रमंत्री होते तर लालकृष्ण अडवानी यांचेकडे सूचना व नभोवाणी खाते दिलेले होते. मंत्रिमंडळात जॉर्ज फर्नांडिस होते आणि राजनारायण पण होते. मधु लिमये, जॉर्ज फर्नांडिस आदि समाजवादी मंडळींनी जनसंघाबद्दल, त्यांच्या दुहेरी निष्ठेबद्दल कुरबुरी सुरू केलेल्या होत्या. जनसंघ नेत्यांनी जनता पक्षातील मतभेद मिटविण्याचा प्रयत्‍न करण्याऐवजी फूट कशी पडेल अशा दृष्टीनेच पावले टाकण्यास सुरुवात केली. भारतीय जनतेने प्रथमच बिगर काँग्रेसचे सरकार दिल्लीत स्थापण्याची संधी देऊनही या मंडळींनी या संधीचे सोने केले नाही. विरोधी पक्षनेते म्हणून यशवंतरावांनी आपली जबाबदारी उत्तम प्रकारे सांभाळली. त्याबद्दल गृहात आणि गृहाबाहेर त्यांची अनेकदा वाहवा झाली.
विरोधी पक्षनेते म्हणून यशवंतरावांनी राष्ट्राला उद्देशून ५ एप्रिल, १९७७ रोजी आकाशवाणीवरून भाषण केले. त्यांनी लोकमताचा कौल आणि अर्थ विशद करून सांगितला. यशवंतराव म्हणाले, ''लोकसभेत काँग्रेसला प्रथमच बहुमत गमवावे लागले आहे. लोकमताचा कौल आम्ही मानतो आणि पंतप्रधान मोरारजी देसाईंना आणि त्यांच्या सरकारला सुयश चिंतितो. भारतीय जनतेने निवडणुकीत कमालीची प्रगल्भता आणि सूज्ञता दाखविली आहे, लोकशाहीच्या आंतरिक सामर्थ्याचे दर्शन घडविले आहे. काँग्रेसच्या मूलभूत धोरणाविरुद्ध किंवा देशात काँग्रेसने केलेल्या प्रगतीविरुद्ध जनतेने कौल दिलेला नाही. आणीबाणीत कांही धोरणांची जी अतिरेकी आणि कठोर अंमलबजावणी झाली त्याबद्दल लोक संतापले आणि त्यांनी विरोधी मतदान केले. काँग्रेसला यातून मोठा धडा मिळाला आहे. आणीबाणीचे आणि निवडणुकीचे धडे काँग्रेस शिकली आहे असे मी देशाला आश्वासन देतो. मोरारजीभाई हे स्वातंत्र्य संग्रामातील सेनानी आहेत, राज्य व केंद्र सरकारातील महत्त्वाची पदे सांभाळलेले अनुभवी प्रशासक आहेत. राष्ट्र उभारणीच्या कामात आमचा पक्ष त्यांच्या सरकारला सहकार्य करील अशी मी ग्वाही देतो. नकारात्मक भूमिका न घेता सरकारने कारभार हांकावा, सूडबुद्धीने वागण्याचा मोह टाळावा. आपण सर्वजण लोकशाही मूल्ये मानणारे असल्याने भूतकाळातील प्रमाद विसरून जाऊन सहकार्याने पुढील वाटचाल करू या. गेल्या कांही वर्षांतील कडवटपणा आता बस्स झाला. सर्व देशबांधवांना सामाजिक मुक्तता, आर्थिक प्रगती, बौद्धिक आणि अध्यात्मिक विकास यांचा लाभ करून देऊ या.'' या भाषणाचा चांगला परिणाम झाला. विरोधी बाकावर असणारा काँग्रेस पक्ष उपद्रवी ठरणार नाही याची खात्री मोरारजींना आणि त्यांच्या सरकारला वाटू लागली. यशवंतरावांच्या सकारात्मक भूमिकेचे सर्वांनी कौतुक केले.