ખડગેનો જન્મ કર્ણાટકના બિદર જિલ્લાના વરાવટ્ટી વિસ્તારમાં એક ખેડૂત પરિવારમાં થયો હતો. તેણે ગુલબર્ગાની નૂતન વિદ્યાલયમાંથી શાળાનો અભ્યાસ પૂર્ણ કર્યો અને પછી અહીંની સરકારી કોલેજમાંથી સ્નાતક થયા. અહીં તેઓ વિદ્યાર્થી સંઘના મહાસચિવ પણ હતા. ગુલબર્ગાની શેઠ શંકરલાલ લાહોટી લો કોલેજમાંથી એલએલબી કર્યા પછી તેણે કાયદાની પ્રેક્ટિસ શરૂ કરી. 1969માં તેઓ MKS મીલ્સ એમ્પ્લોઈઝ યુનિયનના કાનૂની સલાહકાર બન્યા. પછી તે કામદારો માટે લડ્યા. તેઓ યુનાઈટેડ ટ્રેડ યુનિયનના પ્રભાવશાળી નેતા હતા.
તેઓ 1969માં જ કોંગ્રેસમાં જોડાયા હતા. તેમની લોકપ્રિયતા જોઈને પાર્ટીએ તેમને ગુલબર્ગ કોંગ્રેસ કમિટીના અધ્યક્ષ બનાવ્યા. 1972માં તેઓ પ્રથમ વખત કર્ણાટકની ગુરમિતકલ વિધાનસભા બેઠક પરથી ધારાસભ્ય બન્યા હતા. ખડગે ગુરમિતકલ સીટ પરથી નવ વખત ધારાસભ્ય તરીકે ચૂંટાયા હતા. આ દરમિયાન તેમણે વિવિધ વિભાગોમાં મંત્રી પદ પણ સંભાળ્યું હતું. 2005માં તેમને કર્ણાટક પ્રદેશ કોંગ્રેસ સમિતિના અધ્યક્ષ બનાવવામાં આવ્યા હતા. તેઓ 2008 સુધી આ પદ પર રહ્યા. 2009માં પ્રથમ વખત સાંસદ તરીકે ચૂંટાયા.
ખડગેને ગાંધી પરિવારના વિશ્વાસુ માનવામાં આવે છે. આ માટે તેને સમયાંતરે ઈનામ પણ મળતું હતું. 2014માં ખડગેને લોકસભામાં પાર્ટીના નેતા બનાવવામાં આવ્યા હતા. લોકસભા ચૂંટણી 2019માં હાર બાદ કોંગ્રેસે તેમને 2020માં રાજ્યસભામાં મોકલ્યા હતા. ગયા વર્ષે જ્યારે ગુલામ નબી આઝાદનો કાર્યકાળ પૂરો થયો ત્યારે ખડગેને રાજ્યસભામાં વિપક્ષના નેતા બનાવવામાં આવ્યા હતા.