Nuværende Wiggers Gård blev opført i renæssancestil i 1939. Man havde ladet sig inspirere af bygninger i Den gamle By i Århus. Tanken var også at skabe en sammenhæng med den ægte renæssancebygning i byen ”Anne Hvides Gård” på den anden side Ramsherred. Anne Hvides Gård er fra 1565, dengang fremstod denne bgyning med røde sten og sort bindingsværk. Wiggers opførte derfor deres nye virksomhed med sort bindingsværk, røde tavl og røde vingesten.
I midten af 1800-tallet bosatte 3 brødre Wiggers sig i Svendborg og startede virksomheder. Chr. Wiggers overtager købmand Chr. Krøyers farveri og butik på Torvet, Vilhelm Wiggers starter farveri på hjørnet af Korsgade og Skattergade, Poul Wiggers overtager købmand Fogs forretning i Gerritgade, hvor han oparbejdede en stor virksomhed. Dele af disses virksomheder samledes på Torvet.
Chr. Wiggers opførte allerede i 1872 den første fabriksbygning på parcellen på Torvet til klædefabrik og farveri, senere udvidedes med fabriksbygninger til mange formål, som det kan ses på plakaten. Fabrikken var flere gange hærget af brande den første i 1874, dernæst i 1896 og i 1897.
Forskellige dele af aktiviteterne på stedet blev gradvist afhændet i årenes løb
.
Produktionen blev nedlagt ca. 1960, hvorefter man fortsatte med manufakturforretning. Wiggers sidste aktiviteter i de gamle lokaler var Wiggers Erhvervsbeklædning.
I dag er forretningen Tøj Experten.