Na samem začetku je vila služila kot lovski dvorec goriških grofov, ki so jo dolgo časa uporabljali za svoj poletni oddih. Njeni naslednji lastniki so bile plemiške družine Herberstein, Della Torre, Attems in nazadnje Teuffenbach. V 16. in 17. st. se je vila znašla sredi vojne vihre med Beneško republiko in Habsburško monarhijo. Prav Benečani so jo v prvi polovici 17. st. spremenili v razkošno renesančno vilo pravokotne oblike z dvema kvadratnima stolpoma in dekoracijami v beneškem stilu. Lastniki so jo uporabljali kot poletno rezidenco s čudovitim parkom, ki ga krasi baročna fontana.
Vili Vipolže med obema svetovnima vojnama ni bilo prizaneseno, konec leta 1948 pa jo je prizadel tudi požar. Nato je speča lepotica med svojim dolgim spancem sem ter tja gostila zabave in festivale vina na plesnem odru novejše konstrukcije. Dandanes odra ni več. Vila Vipolže se je prebudila. Je svetovljanka, ki s svojim novim regionalnim kulturno-kongresnim centrom odpira svojo prvo sezono.