Anne Hvides Gård er den ældste private bygning i Svendborg. Den blev opført af adelsfruen Anne Hvide til Rødkilde i 1560. Gården blev bygget som et stort byhus med tilhørende udlænger, alt sammen bindingsværk i to etager.
Dengang var det almindeligt, at adelsslægter havde to boliger. Om sommeren boede de på landet, og om vinteren rykkede de ind til byen. Anne Hvide døde i 1577. Siden da skal gården efter sigende have haft adskillige adelige ejere, inden den i ca. 1756 kom på borgerlige hænder.
Datidens in-sted
I 1796 fik skipper og klubvært Christen Børgesen skøde på ejendommen. Tiden omkring 1800 var klubbernes og de dramatiske selskabers tid, og de fik til huse hos Børgesen. I de efterfølgende år samledes byens betydningsfulde mænd således her.
Madam Børgesen
Efter Børgesens død videreførte enken og sønnen virksomheden. Sønnens tredje kone, Dorothea, blev enke i 1837. og i 30 år førte hun stedet videre som gæstgiveri. Under navnet "Madam Børgesen" var hun den mest kendte person i Svendborg på den tid. Hun indrettede værelser for rejsende og stod for mange store arrangementer i byen, bl.a. fashionable bryllupper og kongebesøg. Hun døde i 1867 og hendes søn udlejede derefter bygningerne til forskellige formål. Teknisk Skole havde til huse her en tid, og frøknerne Poulsen holdt, ligesom frøken Ida Holst, privatskole i bygningerne.
Adelsgården bliver til museum
Svendborg Kommune overtog gården i 1900, hvorefter den blev sæde for ligningskommissionen og kæmnerkontor. Allerede på dette tidspunkt var en del af de oprindelige bygninger revet ned. Et stykke tid var der by- og amtsbibliotek og sågar også borgmesterkontor. Efter således at have haft en noget omtumlet tilværelse, blev Anne Hvides gamle bolig i 1912 overdraget til bestyrelsen for Svendborg Amts Museum mod, at den blev gennemgribende restaureret.
I 1915 blev Anne Hvides Gård omskabt til museum og frem til 1974 lå Svendborg og Omegns Museum her.