Vienoje seniausių Panevėžio gatvių stovi autentiškas 100 metų skaičiuojantis medinukas, kuriame gyveno pirmasis Panevėžio vyskupas K. Paltarokas. Namas remontuotas taip, kad jame galėtų gyventi ir dirbti vyskupas bei jo sekretorius ir kancleris. Čia veikė vyskupijos kanceliarija, tribunolas ir biblioteka, o visą erdvę gaubė išskirtinis bei puošnus dizainas: mansarda ir net trys verandos su balkonais. 1940 m. jis nacionalizuotas ir iš esmės perplanuotas. Tik po 40 metų vyskupo Kazimiero Paltaroko namai grąžinti bažnyčiai. Sukaupęs tokią istoriją, šiandien namas laikomu valstybės saugomu architektūriniu ir memorialiniu palikimu, liudijančiu apie vyskupo ir jo tarnautojų gyvenimą bei svarbius istorinius įvykius.
Sodų g. 3