Na samo pet kilometara jugozapadno od Knjaževca, u ataru sela Rgošte, na obali Svrljiškog Timoka, nalazi se termalni izvor, Rgoška Banjica, poznata od davnina. Rimski legionari uživali su u njenim benefitima o čemu svedoče ostaci nekadašnjeg rimskog kupatila. O lekovitim svojstvima izvorišta na Banjici svedočanstvo je 1864. godine ostavio austrijski putopisac Feliks Kanic. Analizama je utvrđeno da u vodi, konstantne temperature 28 stepeni, ima magnezijuma, selena, mangana, radona, fluora.
Hiljade posetilaca, koji ovde dolaze svake godine tokom svih godišnjih doba, tvrde da im je upravo voda sa Banjice pomogla da se izleče od različitih bolesti, poput išijasa, reumatizma, ili bolesti disajnih organa. Osim lekovitog izvora, na ovom omiljenom izletišu Knjaževčana i njihovih gostiju uređena je plaža, restoran i igralište za decu.
Sportsko rekreativni kompleks bazena Banjica napaja se vodim sa termalnog izvorišta Rgoška Banja. Smešten je na samo pet kilometara od centra Knjaževca. Kompleks sportsko-rekreativnih objekata sa bazenom (tokom zime pokrivenim), dečjim bazenom, mini akva-parkom i terenima za male sportove, jedan je od najlepših objekata te vrste u ovom delu Srbije. Bazen je omiljeno izletište ne samo Knjaževčana, već i ljudi iz regiona. Banjica je omiljena destinacija sportskih ekipa. Njegove pogodnosti prepoznali su i na njemu se prirpemali mnogi vrhunski sportisti, među njima Nađa Higl, Milorad Čavić, grčka plivačka reprezentacija i mnogi dugi.