Efter at latinskolen på det gamle kloster blev nedlagt i 1740 havde Svendborgs skoleundervisning foregået tre forskellige steder i byen. Degnene i Vor Frue og Sct. Nikolaj underviste deres respektive sognebørn, mens fattigskolen havde til huse i det gamle rådhus på Torvet. I Svendborg var der et brændende ønske om at opføre en ny bygning, hvor man kunne samle alle byens børn. Specielt fattigskolen havde brug for deres eget lokale.
Byen havde svært ved at skaffe den fornødne kapital til en nybygning. I 1829 lykkedes det at få prins Christian Frederik (Senere Christian 8.), som var guvernør for Fyns Stift, interesseret i projektet. Hermed sikrede man de nødvendige penge. I 1830 nedlagdes grundstenen af prinsen og året efter i 1831 kunne bygningen tages i brug. Skolen opførtes på klosterets gamle grund på klosterplads. For at få plads til skolen var det derfor nødvendigt at nedrive kirken og de omkringliggende fløje af klosteret.
Udgifterne til skolebygningen løb op i 6380 rdl. og den indeholdt i alt 8 klasselokaler. Bag bygningen lå en stor legeplads, hvor skolens elever dyrkede gymnastik. I 1831 kom den første skoleplan for den nye skole. Den nye skole havde tre dele: 1. Borgerskolen, 2 halvdagsklasser med betaling. 2. Realskolen, en overbygning til borgerskolen kun for drenge. 3. friskolen, 2 klasser til alle de børn, hvis forældres kår var så dårlige at de ikke kunne finansiere barnets skolegang. Altså den gamle fattigskole.
I 1844 havde skolen 5 lærere og en hjælpelærer til undervisning af 475 børn. I de yngste klasser i borgerskolen sad ikke mindre end 102 elever, mens der i friskolen blot var 73 elever. På trods af det store antal elever fik undervisningen en positiv vurdering af biskoppen efter et besøg i 1844.
I 1857 fik skolen heldagsundervisning i de øverste drengeklasser. Eleverne blev derved undervist både om formiddagen og eftermiddagen i modsætning til den tidligere halvdagsundervisning. Blot 2 år senere i 1859 udvidedes ordningen til at gælde hele borgerskoleafdelingen. Den forøgede undervisningstid medførte en forhøjelse af skolepengene.
Under både 3-årskrigen 1848-1850 og 2. Slesvigske krig i 1864 blev borgerskolen anvendt til lazaret for de sårede fra kampene i hertugdømmerne. Undervisningen måtte derfor i kortere og længere perioder flyttes til andre lokaler i byen.
Med tiden faldt antallet af elever i realskole betragteligt. Man var utilfreds med fagligheden og de forhold undervisningen foregik under. Realskolen flyttede derfor eleverne til nye lokaler i Fruestræde, hvor Borgerforeningen senere opførtes. I 1869 nedlagdes realskolen helt. Samtidig nedlagdes 2 klasser i betalingsskolen for piger og friskolen udvidedes. I 1872 nedlagdes heldagsklasserne for pigerne fuldstændig.
På trods af et faldende elevtal i byen blev det besluttet i 1875 at opføre en ny borgerskole i Fruestræde. Årsagen til dette var anlæggelsen af jernbanen mellem Svendborg og Odense. Man ønskede at føre jernbanen helt ind til bymidten og skolebygningen lå derfor i vejen for opførelsen af stationsbygningen. Den gamle borgerskole på klosterplads blev nedrevet i 1875.