Najvýznamnejšou pamiatkou mesta je hrad, postavený v druhej polovici 13. storočia na strmom skalnom výbežku, siahajúcom do rozsiahleho močariska, napájaného vodami Hrona a Podlužianskeho potoka. Hrad mal za úlohu brániť prístupovú cestu z dolného Pohronia k stredoslovenským banským mestečkám. V hornej časti hradu sa zachovali zrúcaniny gotického paláca, najstaršej časti opevnenia. Pri jeho múroch z východnej strany sa zachovala spodná časť kruhovej bašty, na ktorú bol v 19. stor. nadstavaný letohrádok (v súčasnosti je v nej čajovňa). Zachovali sa obvodové múry pevnosti, kamenné nárožné rámovanie, gotický portál najstaršieho paláca, fragmenty omietok a opevnenia. V 16. stor. bol hrad rozšírený a spevnený zemným valom a kolovou hradbou na jeho hrebeni, čo neskôr postupne nahrádzali kamenným opevnením s nárožnými delostreleckými baštami. Ďalšie pevnostné objekty z obdobia tureckých vojen uzatvárajú dolné nádvorie. Najväčší z nich je renesančný obdĺžnikový kaštieľ (Dobóov kaštieľ) s poschodovou vežou nad vchodom do mesta z roku 1571. Z vonka bol prístupný iba padacím mostom. V 17. stor. bol kaštieľ nadstavaný a barokovo upravený. Miestnosti kaštieľa sú zaklenuté krížovými a lunetovými klenbami. V západnej časti nádvoria bol postavený tzv. Kapitánsky dom, so stredným schodišťovým rizalitom. Dnes má v ňom sídlo Tekovské múzeum. Na severozápadnom okraji nádvoria stojí mohutná polygonálna delová bašta, v ktorej bola v dávnych časoch hradná kaplnka, v rokoch 1663 – 1664 moslimská mešita. Na hradnú pevnosť nadväzovali mestské hradby, ktoré poskytovali ochranu stredovekému mestečku. Mali štyri brány: Cisársku, Bátovskú, Mlynskú a Malú bránu. V období stavovských povstaní, najmä však v roku 1696 bol hrad ťažko poškodený. Roku 1702 ho obsadili Rákózciho kuruci, ktorí sa ho pred ústupom z Levíc r. 1709 rozhodli zničiť. Hrad podpálili, pevnostné múry poškodili rúcaním, priekopy zasypali ruinami, takže hrad prestal mať hodnotu vojenskej pevnosti. Menej poškodené objekty tzv. dolného hradu boli neskôr opravené, nevhodné prístavby odstránené.