På et rådstuemøde i november 1864 blev det besluttet, at der skulle gøres noget for at hjælpe trængende håndværkere og deres enker. De tilstedeværende besluttede derfor at oprette Borgerstiftelsen i Svendborg.
Meningen var, at der skulle bygges et antal lejligheder som så skulle udlejes vederlagsfrit til værdigt trængende. En bestyrelse blev hurtigt nedsat, bestående af sejlmager Chr. Brandt, hattemager J. M. Lange, urmager J. H. Lieberoth, skomager J. C. Rasmussen, smedemester E. Huusom og karetmager J. Michelsen. Byfoged Schrum blev indsat som formand for bestyrelsen. Dermed gik indsamlingen i gang.
De næste år fortsatte indsamlingen med en ugentlig firskillings-subscription og i 1870 havde man akkumuleret 6.020 rigsdaler. Det blev dog besluttet at vente med byggeriet til der var indsamlet over 10.000 rigsdaler
I 1873 var arven efter Skomager Frederik Hansen gjort op og Borgerstiftelsen var betænkt med 16.000 rigsdaler. Til gengæld skulle stiftelsen oprette et legat i Frederik Hansens navn og i øvrigt vedligeholde hans gravsted så længe stiftelsen bestod.
I 1874 købte Borgerstiftelsen to parceller i Bagergade nr. 67. En to etagers bygning blev bygget efter tegninger af J. J. Eckersberg. Bygningen indeholdte friboliger til 16 familier med en større stue, et sovekammer og et køkken. Den 1. juli 1875 kunne man så holde indvielseshøjtidelighed.
Ved samme lejlighed blev Borgerstiftelsens vedtægter skrevet ned. Af vedtægterne fremgår det, at ingen samfundsklasse af borgere skal være udelukket fra at få fribolig i borgerstiftelsen, men der står også at [i]"fortrinligt hensyn skal tages til værdighed og trang som og til hæderlig deltagelse i kommunens offentlige liv"[/i]. Endnu et vigtigt krav var, at de trængende borgere skulle have været bosiddende i Svendborg i en længere årrække. Havde man først modtaget en lejlighed kunne den enkelte borger bruge den resten af deres liv, med mindre deres omstændigheder ændrede sig for eksempel i forbindelse med ægteskab. En anden grund til fraflytning kunne være ekstreme brud på reglementerne.
Vedtægterne beskriver også hvordan bestyrelsen for stiftelsen skulle være sammensat. Der skulle være syv medlemmer, heraf skulle to burde være medlem af byrådet og af de resterende fem medlemmer skulle mindst tre være håndværkere, da det jo var dem der skulle tilgodeses.
Disse regler blev dog reguleret gennem årene og i 1960 skulle bestyrelsen stadig bestå af syv medlemmer, men nu skulle byrådet vælge to og handelsstandsforeningen en. Generalforsamlingen for bidragende medlemmer skulle vælge tre medlemmer. De skulle fortrinsvis være håndværksmestre og en af disse tre skulle også være formand. Derudover skulle den til enhver tid siddende formand for håndværker- og industriforeningen være medlem.
Da statsgymnasiet blev opført på Viebæltet overtog Borgerstiftelsen bygningerne fra den ledigblevne statsskole i Bagergade 69. Det blev hurtigt besluttet, at de oprindelige bygninger skulle omdannes til lejligheder. I bygningerne blev der indrettet 12 lejligheder, men disse blev dog ikke vederlagsfrie. Der skulle betales en beskeden leje. Ud over lejlighederne rådede Borgerstiftelsen også over adskillige legater som kunne søges både af beboere og andre dårligt stillede håndværkere og/eller enker.
I den sidste halvdel af det 20. århundrede overgik driften af Borgerstiftelsens lejligheder først til Teknisk Forvaltning i Svendborg Kommune, der administrerede udlejningen af lejlighederne beliggende i begge bygninger. Senere gik de videre til Socialforvaltningen og lejlighederne blev nu brugt udelukkende til sociale klienter.
Borgerstiftelsens oprindelige formål var at hjælpe værdigt trængende håndværkere og deres enker. I dag bliver lejlighederne stadig brugt til at hjælpe dårligt stillede borgere i Svendborg, selvom det ikke længere er private borgere der står bag.