В 1992 году Константин Иванович назначен Главным военным инспектором Вооруженных сил России, с июля 1993 — заместителем Министра обороны России. Уволен в отставку в 1998 году. Умер 30 декабря 2012 года, похоронен на Троекуровском кладбище в Москве.
Награжден орденом Октябрьской Революции, орденами Красного Знамени, Красной Звезды и орденом «За службу Родине в ВС СССР» 3-й степени, а также медалями и иностранными наградами.