De gamle håndværkerlaug gav ikke mange muligheder for rige håndværkere. Dette betød, at når en håndværksmester blev gammel og mistede evnen til at udføre sit arbejde, var der ikke meget tilovers at leve for i deres alderdom. Havde man været mester var det ikke nemt at tage imod fattighjælp og almisser. Det besluttede en gruppe af Svendborgs mest ansete håndværkere at gøre noget ved.
I 1842 oprettede de en hjælpefond, der skulle hjælpe værdigt trængende håndværkere og/eller deres enker. I først omgang skulle man dog have undersøgt om der overhovedet var interesse for at støtte det gode formål. Der var overvældende interesse. Straks tegnede 146 borgere sig for et engangsbeløb på 64 rigsdaler og 150 rigsdaler i årlige bidrag. Dette betød at stiftelsen var en realitet.
På det oprindelige møde den 28. juni 1842 var det blevet besluttet at opkalde stiftelsen efter dronning Caroline Amalie, gift med Christian 8. Det var nemlig på hendes fødselsdag, at man havde holdt det stiftende møde. Derudover var kongeparret tæt knyttet til Svendborg. En forbindelse der var opstået allerede mens prinsen havde været guvernør over Fyn. Man indsendte derfor en forespørgsel til hoffet om der kunne gives tilladelse til at opkalde stiftelsen efter dronningen. Kort tid efter kom det positive svar, oven i købet underskrevet af dronningen selv. Derudover havde kongen og hans gemalinde skænket 200 rigsdaler til det gode formål.
Den 21. november 1842 blev vedtægterne for Dronning Caroline Amalies Stiftelse af 28. juni for gamle værdige og trængende håndværksmestre i Svendborg og deres enker vedtaget. Ved samme lejlighed blev den første bestyrelse eller direktion, som den kaldtes, valgt. Den bestod af Dr. Colding som formand og saddelmager Høyvald, brandinspektør Rasmussen, farver Poulsen og pastor Steen som de andre medlemmer. Stiftelsens første mål var at opnå en formue på 500 rigsdaler, hvorefter renterne og halvdelen af senere indkomst skulle fordeles til værdigt trængende.
Dette mål blev nået allerede i 1844, hvor de første uddelinger kunne finde sted. Pengene blev fordelt to gange om året, på dronningen Caroline Amalies fødselsdag den 28. juni og seks måneder derefter. Modtagerne forsatte så med at modtage bidragene indtil de faldt bort eller deres omstændigheder ændrede sig. Ind i mellem kunne det dog være vanskeligt at bedømme hvem der skulle være modtager. I 1847 måtte der en generalforsamling til for at bedømme hvorvidt en skibsbygmester kunne regnes for at være et medlem af håndværkerstanden. Det blev et positivt svar.
I 1878 modtog stiftelsen det første legat. Det var bogholder Evald Lassen, der skænkede 545 kr. til sagen.(Man var gået over til kroner som møntfod i Danmark.) Senere kom flere til, bl.a. donerede konsul og skibsredder P. N. Schytt 1500 kr. i anledning af sit bryllup med Camilla Meyer i 1883. Han var på det tidspunkt 77 år gammel og hun var 35. Det største legat blev doneret af murermester Carl West, der testamenterede halvdelen af hvad han ejede til Caroline Amalie Stiftelsen. Det drejede sig om et beløb på 15.170 kr.
Caroline Amalie Stiftelsen havde adskillige formænd, der alle forsøgte efter bedste evne at virke til gavn for stiftelsen. Mest nævneværdig er sejlmager Chr. Brandt. Han virkede som formand fra 1864 frem til sin død i 1900, og var en særdeles handlekraftig herre. Ud over Caroline Amalie Stiftelsen var han også formand for Borgerstiftelsen og medlem af byrådet. Under hans ledelse steg stiftelsens formue fra 3.180 rigsdaler til 18.487 rigsdaler og det skyldtes hans påvirkning, at adskillige af legaterne blev tildelt stiftelsen. Efter hans død tilfaldt der stiftelsen 4.000 kr. til et legat i hans datters navn. Det hedder Abeline Vilhelmine Brandts Legat.