Po ukończeniu szkoły podstawowej w Kryłowie dalszą edukację kontynuował w Niższym Seminarium Duchownym w Lublinie, a gdy zostało rozwiązane dalszą naukę pobierał w Liceum Ogólnokształcącym w Grabowcu. W 1966 r. zdał egzamin dojrzałości i został przyjęty do Wyższego Seminarium Duchownego w Lublinie. Święcenia kapłańskie otrzymał z rąk bpa Piotra Kałwy w Katedrze Lubelskiej w dniu 12 czerwca 1973 r.
Po święceniach jako wikariusz pracował w następujących parafiach: Tarnogród (28 VI 1973 – 27 IX 1974), Kijany (27 IX 1974 – 13 IX 1976), Kryłów (13 IX 1976 – 12 VI 1980), Dzwola (12 VI 1980 – 27 II 1986), Fajsławice (27 II 1986 – 12 IX 1988).
Z dniem 12 września 1988 r. ks. Kazimierz został mianowany tymczasowym administratorem parafii Strzyżów, a od 17 lutego 1989 r. został proboszczem tejże parafii.
10 czerwca 1998 r. Biskup Zamojsko-Lubaczowski Jan Śrutwa mianował ks. Kazimierza Kiełbanię kanonikiem Prześwietnej Kapituły Konkatedralnej w Lubaczowie.
Stosownie do potrzeb pastoralnych diecezji i przedstawionej prośby z dnia 13 czerwca 2005 r., ks. Kazimierz został odwołany ze stanowiska proboszcza parafii Strzyżów i mianowany proboszczem parafii Siedliska. Po 9 latach posługi duszpasterskiej, Biskup Zamojsko-Lubaczowski Marian Rojek, odwołał ks. Kazimierza z urzędu proboszcza w parafii Siedliska i skierował na zamieszkanie w charakterze rezydenta w parafii pw. Trójcy Przenajświętszej w Łaszczówce.
Po osiągnięciu wieku emerytalnego, z dniem 16 sierpnia 2017 r. ks. Kazimierz Kiełbania został przeniesiony w stan emerytalny z dalszym zamieszkaniem przy parafii pw. Trójcy Przenajświętszej w Łaszczówce. Biskup Marian Rojek wyraził ks. Kazimierzowi wdzięczność i uznanie za gorliwą posługę kapłańską oraz błogosławił mu na dalsze lata życia i służby Kościołowi pod opieką Matki Odkupiciela – Patronki Diecezji.
Jako rezydent, a potem emeryt poświęcił się w skromnej lecz owocnej posłudze duszpasterskiej poprzez sprawowanie Mszy św. i nabożeństw – dopóki pozwalały mu na to siły fizyczne, a szczególnie przez wytrwałe słuchanie spowiedzi wiernych w konfesjonale. Cieszył się wielką życzliwością i szacunkiem parafian.
Ks. kan. Kazimierz Kiełbania zmarł 26 maja 2018 r. w Hospicjum Santa Galla w Łabuńkach, po długiej chorobie.
Msza św. żałobna pod przewodnictwem Biskupa Pomocniczego Mariusza Leszczyńskiego została odprawiona w poniedziałek, 28 maja 2018 r. o godz. 12.00 w kościele parafialnym pw. Trójcy Przenajświętszej w Łaszczówce. Natomiast Msza św. pogrzebowa pod przewodnictwem Biskupa Seniora Jana Śrutwy w poniedziałek, 28 maja 2018 r. o godz. 15.00 w kościele pw. Narodzenia NMP w Kryłowie.
Po Mszy św. pogrzebowej ciało zmarłego ks. Kazimierza zostało złożone na cmentarzu parafialnym w Kryłowie.
Requiescat in pace!
Opracował ks. Zygmunt Jagiełło ZID 2(2018), s. 419-420.