१९५२ च्या पहिल्या सार्वत्रिक निवडणुका महाराष्ट्रात मोठ्या चुरशीने लढविण्यात आल्या. मुंबई विधानसभेमध्ये कराड मतदारसंघातून ते विजयी झाले. मोरारजीभाई देसाई यांनी मंत्रिमंडळ बनविले. यशवंतरावांना नागरी पुरवठा, समाजकल्याण आणि वन ही खाती दिली. मोरारजींनी त्यांना भरघोस असा विश्वास दिला. पुरवठा खात्याचे काम पाहताना किडवाईंच्या मार्गदर्शनाचा त्यांना खूप उपयोग झाला. २ डिसेंबर १९५२ मध्ये त्यांनी नवे अन्नधान्य धोरण जाहीर केले. यशवंतरावांचे नेतृत्व आता चांगले विकसित झाले होते. अनेक प्रशासकीय गुणांनी ते तेजाळले होते. पुरोगामी ध्येयवादी नेता म्हणून त्यांचा उल्लेख होत होता.
१ नोव्हेंबर १९५६ ला द्वैभाषिक मुंबई राज्य निर्माण झाले. त्या द्वैभाषिक मुंबई राज्याचे मुख्यमंत्री म्हणून यशवंतराव चव्हाणांनी सत्ता हाती घेतली. एका संयमी नेत्याची मुख्यमंत्रीपदासाठी निवड झाली. पण हे पद कसोटी पाहणारे ठरले कारण यावेळी संयुक्त महाराष्ट्राचे भाषिक राज्य बनण्याची मागणी जोरात पुढे आली. महाराष्ट्रातील साहित्यकारांनी या कामी पुढाकार घेतला. जनआंदोलन निर्माण झाले. संयुक्त महाराष्ट्राच्या आंदोलनाला उग्र स्वरूप प्राप्‍त झाले. १९४६ मध्येच बेळगावला श्री. ग. त्र्यं. माडखोलकर यांच्या अध्यक्षतेखाली बेळगावला जे साहित्य संमेलन भरले होते तेथे सर्व मराठी भाषिकांचा एक वेगळा प्रांत संयुक्त महाराष्ट्र बनवावा अशी मागणी केली होती. महाराष्ट्रभर या प्रश्नाने वातावरण तापत चालले होते. यशवंतराव म्हणतात, ''या काळातही मला निकरानं लढावं लागलं. काँग्रेस अंतर्गत आणि बाहेर ५५ ते ६० हा काळ मोठा चमत्कारिक अनुभवांचा आणि मनोवस्थेचा असा गेला. महाराष्ट्रात काँग्रेस स्थिर करणं, महाराष्ट्रातल्या जनतेचा राग विझवणं, गुजराती बंधूंचा संशय दूर करणं आणि केंद्रीय सत्तेचा विकास संपादन करणं असं चौफेर काम करायचं होतं. ते करीत होतो. ५५ ते ६० या काळात माझं पाच वर्षाचं आयुष्य कमी झालं इतका अनावर ताण पडला. संयुक्त महाराष्ट्राच्या प्रश्नावर होणार्‍या महाराष्ट्रातील प्रचंड सभा, जनतेचा उठाव, त्यातून झालेला गोळीबार, ते सभा उधळणं, प्रतापगडाचा सामना - कितीतरी प्रसंग डोळ्यांपुढे उभे राहतात. घोडेस्वाराप्रमाणे उपाशी तापाशी मी धावत होतो.'' अशा पद्धतीने खवळलेल्या महाराष्ट्राच्या लोकमनाला आपल्या विचारसरणीने यशवंतराव तोंड देत होते. महाराष्ट्रातील माणसाला प्रश्नांचे गांभीर्य समजावून दिले तर तो उत्साहाने उठतो पण कर्तव्याची जाणीव करून दिली नाही तर तो पुन्हा झोपतो. असा मराठी माणसाचा स्वभावविशेष ठिकठिकाणी दाखवून देत होते. बदलत्या काळाच्या प्रेरणा ते अचूकपणे ओळखू शकत होते. त्याचप्रमाणे बदलत्या काळाची आव्हानेही समर्थपणे स्वीकारत असत. म्हणूनच तर केंद्रीय नेत्यांचा विश्वास संपादन करून संयुक्त महाराष्ट्राची निर्मिती झाली. विरोधी पक्ष्यांच्या नेत्याशी संयमाने आणि आदराने वागून लोकशाही मूल्यांचा नवीन आदर्श निर्माण केला. त्यामुळे त्यांचा सर्वसामान्यांपासून विचारवंतांपर्यंत सर्वांनी गौरव केला.
१ मे १९६० मध्ये स्वतंत्र मराठी भाषिक राज्याची स्थापना झाली. नवीन राज्याचे पहिले मुख्यमंत्री म्हणून त्यांचा शपथविधी झाला. यशवंतरावांचा महाराष्ट्रावर जो ठसा उमटला तो प्रत्येक क्षेत्रात चमकून उठल्याशिवाय राहिला नाही. मुख्यमंत्री म्हणून थोड्याच काळात त्यांनी अतुलनीय कामगिरी केली. एका खेड्यातल्या शेतकर्‍याचा मुलगा मुख्यमंत्री झाला याचा जनतेचा आनंद झाला. नोव्हेंबर १९६२ मध्ये त्यावेळचे पंतप्रधान जवाहरलाल नेहरू यांनी मोठ्या विश्वासाने यशवंतरावांना केंद्रीय मंत्रिमंडळात आमंत्रित करून त्यांचा बहुमान केला. त्यांच्यावर संरक्षणमंत्रीपदाची जबाबदारी सोपविण्यात आली. या घटनेचे वर्णन हिमालयाच्या संरक्षणासाठी महाराष्ट्राच्या सह्याद्रीला उत्तरेकडे धावून जावे लागले असे केले जाते. अशा पद्धतीने यशवंतरावांचे नेतृत्व अखिल भारतीय पातळीवर चमकू लागले. १९६२ मध्ये भारतावर चीनचे आक्रमण झाले होते. चीनच्या आक्रमणाने कोलमडलेल्या संरक्षणव्यवस्थेची पुनर्रचना त्यांना करावी लागणार होती. आणि यशवंतरावांनी हे आव्हान यशस्वी रीतीने पेलले. अभ्यास, आत्मविश्वास आणि आटोकाट परिश्रम या त्यांच्या अंगभूत गुणांनी ही जबाबदार नेत्याची भूमिका वठवली. ते म्हणतात, ''देशाची हाक आली आहे म्हणून मी जातो आहे. संरक्षणमंत्रीपदाची मोठी जागा चालून आली आहे म्हणून मी जातो आहे असे मात्र कृपा करून समजू नका. पण ही देशाची हाक आहे. देशाच्या नेत्याने मारलेली हाक आहे. त्याकरिता सैनिक म्हणून प्रसंग पडल्यास जान देईन या भावनेने मी तिकडे जात आहे.'' दिल्लीला जाण्यापूर्वी व आपल्या महाराष्ट्र राज्याच्या मंत्रिपदाचा राजीनामा देण्यासाठी एक तास उरला असताना १९६२ च्या नोव्हेंबर महिन्यात मुंबईच्या चौपाटीवर जनसागरासमोर भाषण करताना त्यांनी अशा प्रकारे आपले हृद्‍गत व्यक्त केलं.
१४ नोव्हेंबर १९६६ मध्ये यशवंतरावांनी गृहमंत्रिपदाची सूत्रे स्वीकारली. या काळात अनेक कठीण प्रसंग आले. त्यांच्या या गृहमंत्रिपदाच्या पहिल्या सहा महिन्यांच्या काळात नव्याने दहा राज्यपालांची नियुक्ती करण्यात आली. त्यांची गृहमंत्रीपदाची कारकीर्द उल्लेखनीय आहे. तसेच त्यांच्या गृहखात्याच्या कारभारामध्ये अनेक गुंतागुंतीचे प्रश्न निर्माण झाले होते. तरीही या काळात गृहखात्याचा कारभार त्यांनी समर्थपणे हाताळला.