Na uzvišenju iznad grada stoji Gurgusovačka kula, izgrađena u 18. veku na mestu turskog šanca, koji je služio za nadgledanje grada. Tokom perioda od 1842. do 1844., ova zgrada je preobražena u tamnicu za političke protivnike dinastije Karađorđević, sve do 1859. godine kada ju je Miloš Obrenović naložio spaliti, nazvavši je "srpskom Bastiljom". U spomen na taj događaj, Gurgusovčani su promenili ime svog grada u Knjaževac.

Od prvobitne kule sačuvan je samo jedan zid s otvorima za puške i ulazna kapija. Kula je sada preuređena u višenamenski prostor za kulturne i javne događaje, okružena parkom i igralištem za decu.