यशवंतरावांनी लोकशाही सत्तेच्या विकेंद्रीकरणाचे निश्चित धोरण राबविण्याच्या दृष्टीने पाऊल उचलले. जिल्हा परिषदा आणि पंचायत समित्या आपापला कारभार पाहू लागल्या. आपल्या हातातील सत्ता कमी होते या कारणास्तव मंत्रिमंडळातील काही सहकार्‍यांनी कुरकूर करण्याचा प्रयत्‍न करून पाहिला. तथापि यशवंतरावांनी स्पष्ट शब्दांत सांगितले की विकेंद्रीकरणाचे धोरण ज्यांना मान्य नसेल त्यांना मंत्रिमंडळातून बाहेर पडण्याचे मार्ग, दरवाजे खुले आहेत. कुणीही बाहेर पडले नाही. पंचायत राज्यामुळे नवा पुढारी वर्ग निर्माण झाला, महाराष्ट्राचा राजकीय चेहरा-मोहरा बदलून गेला. शिक्षण, सहकार, शेती, आरोग्य यावर सत्तेच्या विकेंद्रीकरणात भर दिला गेल्याने राज्याचा लौकिक वाढला, विकासाला गती मिळाली. यशवंतरावांच्या नेतृत्वाखाली महाराष्ट्राने सर्व क्षेत्रांत घोडदौड सुरू केली असतानाच यशवंतरावांना महाराष्ट्र सोडून एकाएकी दिल्लीस जावे लागले. त्यांनी योजिलेल्या कांही गोष्टी अपूर्ण अवस्थेत राहिल्या.
१९६२ साली सत्तारूढ झाल्यानंतर अवघा सहा-सात महिन्यांचा काळ गेला होता. एके दिवशी (६ नोव्हेंबर, १९६२) यशवंतराव सचिवालयात काम करीत असताना दिल्लीहून पंडित नेहरूंचा फोन आला. फोनवर बोलणे सुरू झाले. नेहरूंनी यशवंतरावांना सांगितले की महत्त्वाचे, गुप्‍त बोलायचे असल्याने कोणी समोर असतील तर त्यांना थोडा वेळ बाहेर पाठवा. खोली निवांत झाल्यावर नेहरूंनी सांगितले की चव्हाणजी मला तुमच्याकडून 'हो' किंवा 'नाही एवढेच उत्तर हवय. देशाचे संरक्षणमंत्री म्हणून तुम्हाला महाराष्ट्र सोडून दिल्लीला यावे लागेल. तुमचे मत त्वरित हवे. यासंबंधी कुणालाही इतक्यात माहिती होता कामा नये. यशवंतराव चव्हाणांनी नेहरूंना अदबीने सांगितले की एका व्यक्तीशी बोलावे लागेल, संमती घ्यावी लागेल. ''कुणाची'' ? नेहरूंनी विचारले ? ''माझ्या पत्‍नीची'' यशवंतरावांनी उत्तर दिले. ''ओ.के.'' म्हणून नेहरूंनी पुन्हा आठवण दिली की तुम्ही मला दिल्लीला हवे आहात. सगळे कसे अनपेक्षित आणि अचानक घडले. देशाच्या संकटकाळी पंतप्रधानांनी पाचारण केल्यावर नाही म्हणण्याचा प्रश्नच उद्‍भवत नव्हता. यशवंतरावांनी होकार दर्शवून संरक्षण मंत्र्याची जबाबदारी स्वीकारली. हिमालयाच्या रक्षणासाठी सह्याद्रि धांवून गेला.
चीनने भारतावर अचानक लष्करी आक्रमण केले होते आणि भारतीय सेनेला पिछेहाटीची नामुष्की पत्करावी लागली होती. व्ही. के. कृष्ण मेनन यांच्याकडे संरक्षण खाते होते. जनरल थापर सरसेनापती होते. चीन-भारत सीमा रक्षणाची जबाबदारी ले. ज.बी. एम. कौल यांच्याकडे होती. नेफामध्ये चीनने लष्करी तळ उभारताच मॅकमोहन रेषेवर भारताने आपले लष्करी तळ उभारण्यास सुरुवात केली. १९६१ आणि १९६२ मध्ये दोन्ही बाजूंनी तळ उभारण्याचे काम चालू होते. भारताने लडाखमध्येही लष्करी तळ उभारले. या तळाबद्दल चीनने भारताकडे तीव्र निषेध नोंदविला. नेहरूंनी सुचविले की, दोन्ही बाजूंनी आपापले सैन मागे घ्यावे. चीनने नकार दर्शविला. जुलैत दोन्ही देशांच्या सैनिकांत चकमकी उडाल्या. चीनने बळकावलेल्या प्रदेशाबद्दल नभोवाणीवर भाषण करताना नेहरूंनी देशाला एकूण परिस्थितीची कल्पना करून दिली.