सरदार पटेल अपना कर्त्तव्य पूरी ईमानदारी, समर्पण व हिम्मत के साथ पूरा करते थे। उनके इस गुण का दर्शन हमें सन् 1909 की इस घटना से होता हैं। वे कोर्ट में केस लड़ रहे थे, उस समय उन्हें अपनी पत्नी की मृत्यु (1 जनवरी, 1909) का तार मिला, पढ़कर उन्होंने इस प्रकार अपनी जेब में रख लिया जैसे कुछ हुआ ही नहीं। दो घण्टे बहस कर उन्होंने केस जीत लिया। बहस पूर्ण हो जाने के बाद न्यायाधीश व अन्य लोगों को जब यह खबर मिली कि सरदार पटेल की पत्नी का निधन हो गया है तब उन्होंने सरदार से पूछा तो उन्होंने कहा- 'उस समय मैं अपना फर्ज निभा रहा था, जिसका शुल्क मेरे मुवक्किल ने न्याय के लिए मुझे दिया था। मैं उसके साथ अन्याय कैसे कर सकता था। ऐसी कर्त्तव्य परायणता और शेर जैसे कलेजे की मिसाल इतिहास में विरले ही मिलती है। इससे बड़ा चरित्र और क्या हो सकता है।
सरदार पटेल ने आजादी के ठीक पूर्व ही गृह सचिव पी.वी. मेनन के साथ मिलकर कई देशी राज्यों को भारत में मिलाने के लिए कार्य आरम्भ कर दिया था। पटेल और मेनन ने देसी राजाओं को बहुत समझाया कि उन्हें स्वायतता देना सम्भव नहीं होगा। इसके परिणामस्वरूप तीन राज्यों को छोड़कर शेष सभी राजाओं ने भारत में विलय का प्रस्ताव स्वीकार कर लिया। केवल जम्मू कश्मीर, जूनागढ़ तथा हैदराबाद के राजाओं ने ऐसा करना नहीं स्वीकारा। जूनागढ़ के नवाब के विरुद्ध जब जनता ने विरोध किया तो वह पाकिस्तान चला गया और जूनागढ़ राज्य भी भारत में मिल गया। जब हैदराबाद के निजाम ने भारत में विलय का प्रस्ताव अस्वीकार कर दिया तो सरदार पटेल ने सेना भेजकर निजाम का आत्म समर्पण करा लिया।