Vila Pfaffenhof zaujímá staveniště někdejší vinařské kaple svatého Mikuláše, doložené zde ve 14. století. Ta byla zrušena za Josefa II. Západně odtud byl v polovině 19. století postaven tzv. Gaubův dvůr, ze kterého zbývají jen obvodové zdi. Koncem 19. století si na místě kaple postavila vilu rodina Pfaff, která jí dala i jméno. Jejich honosnou novorenesanční hrobku najdeme dodnes na nedalekém městském hřbitově. Objekt jim  patřil až do 2. světové války. Na jejím konci zde sídlil SS – Führungstab (velení) nedalekého koncentračního tábora . Po roce 1945 vila připadla národnímu správci Veverkovi (odtud i občas užívané pojmenování Veveří), po roce 1948 zestátněna, obývána snad do počátku 90. let 20. století. Poté se stala předmětem spekulací a podlehla započaté rekonstrukci (bohužel její destrukční fázi).
Stav roku 2016:
Starší fotografie: