चव्हाणांनी सर्वप्रथम आपले खाते स्वच्छ करून त्यात आत्मविश्वास निर्माण करण्याची आणि आज्ञापालनाची शिस्तबद्ध साखळी पुन्हा प्रस्थापित करण्याची कामगिरी हाती घेतली. तिन्ही सैन्यदलांच्या प्रमुखांशी जवळचा संपर्क ठेवला. १९६३ सालच्या ३६५ दिवसांपैकी १६९ दिवस चव्हाण आणि हे प्रमुख यांच्या बैठकी झाल्या होत्या. 'सकाळच्या बैठकी'ची परंपरा त्यांनी सुरू केली. तिन्ही दलांचे प्रमुख, संरक्षण आणि संरक्षण उत्पादन खात्यांचे सचिव या सकाळच्या बैठकींना उपस्थित असत. जवळ जवळ चार वर्षं, रोज सकाळी ९-३० ला या बैठकी भरत असत. सैन्यदलाच्या दैनंदिन समस्या, प्रगती, चिनी आणि पाकिस्तानी सैन्यांची अवस्था, पुरवठा व्यवस्था, अंतर्गत कारभाराचे नियोजन आणि अडचणींचे अडथळे नष्ट करण्याचे मार्ग असे विविध विषय त्यांच्यापुढे असत. चव्हाण तर या बैठकींना 'प्रातःस्मरण', 'प्रार्थनासभा' (प्रेयर मीटिंग) म्हणत असत.
सैन्यदलांपुढील संघटनविषयक समस्या अनेक प्रकारच्या होत्या. स्थल-सेना, वायु-सेना आणि सौ-सेना या तिन्हीही दलांची गतिसुलभ रचना करून त्यांचे पूर्णपणे भारतीयीकरण करणे आवश्यक होते. याचे कारण आपल्या सैन्यदलांची संघटना ब्रिटिश मार्गदर्शी सूत्रानुसार करण्यात आलेली होती. भारत स्वतंत्र झाल्यानंतरही तिच्यात बदल केलेला नव्हता. श्री. बलदेवसिंग, एन. गोपालस्वामी अय्यंगार आणि कृष्ण मेनन या तीनही माजी संरक्षणमंत्र्यांनी सेनादलांचे आधुनिकीकरण आणि भारतीयीकरण करण्याचे प्रयत्‍न केलेले होते. मंत्री म्हणून संरक्षण खात्याचा भार उचलणारे पहिले भारतीय श्री. फिरोझखान नून हे होते. अर्थात त्यांच्या कालखंडात म्हणजे दुसर्‍या महायुद्धाच्या कालखंडात स्थापन केल्या गेलेल्या संरक्षण खात्याच्या कार्यमर्यादा फारच थोड्या होत्या. अंतर्गत सुरक्षितता, नागरी संरक्षण आणि सैनिकी तळांची व्यवस्था एवढ्याच गोष्टींचा त्यात समावेश होता. भारत स्वतंत्र झाला त्या वेळचा ब्रिटिश कमांडर-इन-चीफ हा स्थलसेनेचा आणि जी काही नौसेना आणि वायुसेवा अस्तित्वात होती, तिचाही प्रमुख होता.
१९४७ साली भारत स्वतंत्र झाला तेव्हा सैन्यदलात अनेक भारतीय ज्यूनिअर ऑफिसर्सच्या हुद्दयावर होते, परंतु मेजर-जनरलपदापर्यंत पोहोचलेला एकही अधिकारी नव्हता. पुढे सेनादलाचे प्रमुख बनलेले जनरल करिअप्पा आणि थिमय्या हे केवळ ब्रिगेडिअर्स होते. ब्रिटिशांनी हा देश सोडल्यावर अनेक अधिकार्‍यांना अचानकपणे उच्च पदांवर बढत्या मिळाल्या. परिणामी वरिष्ठ दर्जाच्या व्यवस्थापनाचा दर्जा आणि प्रभावीपणा यात थोडीफार घटच झाली. ''१९६२ च्या समस्येपर्यंत, सैन्याच्या आक्रमक आणि संरक्षक बलामध्ये जी कमतरता अथवा प्रगतीचा अभाव दिसून आला त्याचे हे एक प्रमुख कारण होते.'' (एस. एस. खेरा, इंडियाज् डिफेन्स प्रॉब्लेम, पृष्ठ ४२)
आपल्या मर्यादित सेनादलांचे वाजवीकरण करण्याकडे भारताने फारसे लक्ष दिलेले नव्हते. न्हावी, धोबी, सफाई-कामगार अशा दहा-दहा हजार बिनलढाऊ कामगारांचा सैन्यात भरणा करून ठेवण्याची जुनी ब्रिटिश परंपरा भारताने चालू ठेवली होती. सैनिकांची भरती केली होती, पण त्यांना पुरेशी साधन-सामग्री, शस्त्रास्त्रे आणि आधुनिक प्रशिक्षणाच्या सोयी नव्हत्या. म्हणूनच कृष्ण मेनन आपल्या सैन्याचा उल्लेख 'कवायतीच्या मैदानावरील सैन्य' असा करीत. १९५७ साली कृष्ण-मेनन भारताचे संरक्षणमंत्री बनले. सैन्यदलांना त्यांनी एक नवी प्रतिष्ठा मिळवून दिली आणि राष्ट्राला या दलांच्या अस्तित्वाची जाणीव करून दिली. पण याबरोबरच मेनन यांनी ''आपली एक वेगळीच राजकारणी शैली आणि अविश्वास, गटबाजी आणि संशय यांना खतपाणी घालणारी वागणूक'' या गोष्टीही संरक्षण-यंत्रणेत आणल्या. ''ऑक्टोबर १९६२ पूर्वीच्या ऐन अडचणीच्या कालखंडात, संरक्षण-यंत्रणेत अगदी कृष्ण मेनन यांच्यापासून खालच्या थरापर्यंत सर्वत्र संशय, अविश्वास, खिन्नता यांचे सावट सर्वत्र पसरलेले होते. सर्वांची मने त्याने अगदी ग्रासून टाकलेली होती.'' (एस. एस. खेरा, इंडियाज डिफेन्स प्रॉब्लेम, पृष्ठ २०४)
चव्हाणांनी संरक्षण खात्याची जबाबदारी स्वीकारल्यावर अल्पावधीतच अनेक समित्यांची स्थापना करण्यात आली. संरक्षणविषयक समस्यांचे सखोल परीक्षण करण्याची कामगिरी त्यांच्यावर सोपविण्यात आली. पंतप्रधानांच्या अध्यक्षतेखाली व राष्ट्रीय संरक्षण समितीचाही समावेश करणारी एक आणीबाणी समिती यापूर्वीच अस्तित्वात आलेली होती. संरक्षण समितीने सेना-व्यवहार समिती नावाची एक उपसमिती नेमलेली होती. जनरल थिमय्या, जनरल थोरात इ. प्रमुखांचा व निवृत्त सेनादलप्रमुखांचा तिच्यात समावेश होता. चव्हाण म्हणतात, ''यांतील अनेक समित्यांचा उद्देश संरक्षणविषयक विचाराला चालना देणे आणि आजवर सैन्यदलांमध्ये अभावानेच दिसून येणारी जनसंपर्काची प्रभावी यंत्रणा प्रस्थापित करणे, हा होता.'' त्यांचे असेही मत होते- ''कोणत्याही देशाचे संरक्षणविषयक धोरण ही केवळ लष्करी बाब नसते, ती सैनिकी, राजकीय आणि आर्थिक अशी, काहीशी तिहेरी स्वरूपाची घटना असते.'' देशातील उद्योगधंदे आणि सेना यांच्यातील सुसूत्रीकरणाचे महत्त्व त्यांनी सभासदांना प्रतिपादन केले आणि सर्वसामान्य जनतेच्या मनात सेनादलाच्या भूमिकेविषयी एक नवी जाणीव निर्माण केली.