Psal se rok 1830, kdy Josef Gaube koupil pozemky na kterých postavil statek (Gaubehof) a na kterých dnes stojí tato vila. Bohužel však přišla krize 80. – 90. let 19. století a Gaubovi byli nuceni prodat statek i s pozemky a to Heinrichu Pfaffovi. Manželé Pfaffovi si na místě naproti statku nechali roku 1893 postavit novo-gotickou vilu, které se od té doby začalo říkat Pfaffenhof. Součástí vily byl i dům pro služebnictvo a bazén. Poslední majitelkou z rodiny Pfáffů, byla Johana ( provdaná Geisecká), která zámeček s pozemky vlastnila až do roku 1945. Manžel Johany Geisecké byl evangelistickým farářem v Litoměřicích. Johana Geisecká, její manžel i dva synové pravděpodobně odešli, nebo byli odsunuti do Německa ihned po válce.

Spekuluje se, že během války byl ve vile štáb SS – Komanda B5, ale tato informace se nikdy nepotvrdila. Dle dochovaných dokumentací a informací byl hlavní štáb SS , kousek od vily, konkrétněji vedle vstupu A/B do podzemní nacistické továrny Richard. Po válce se správcem vily stal Josef veverka, proto se místu také přezdívá Veveří.

Vila byla obývaná několika rodinami až do začátku 90. let. V 90. letech byl také učiněn pokus o rekonstrukci, který bohužel vilu pohřbil úplně, důvodem byl zřejmě rozpočet, který nevyšel, jako to v Čechách už bývá… Během neodborné rekonstrukce došlo k devastaci unikátního vytápění, které bylo instalováno v zdech, zároveň byla otlučena veškerá omítka z vnitřních stěn a byly zničeny mozaikové podlahy v koupelnách. Veškeré vybavení vily zmizelo neznámo kam. Jedinou pozitivní věcí z celé rekonstrukce bylo nahrazení dřevěných trámů a to ocelovými traverzami, které jsou důvodem, proč vila do dnes ještě stojí. Dnes je vila bohužel pod útokem vandalů, sprejerů a zlodějů cihel. Majitelem vily je aktuálně prý švýcarský podnikatel, který bohužel odmítá jakoukoli komunikaci i když se našlo několik potencionálních zájemců o koupi celé vily i s pozemky.