Igennem en årrække havde man forsøgt at etablere en privat pigeskole i Svendborg, uden den store succes. Specielt Pastor Prip i Vor Frue Kirke var involveret i projektet. På opfordring fra netop pastor Prip overtog lærerinden Ida Holst en pigeskole i Fruestræde i 1880. Skolen var ledet af frøknerne Kalisch og Leth og havde til huse i ”Musereden”, Fruestræde 1. Frk. Holst betalte 400 kr. for skolen med i alt 18 elever.
Efter en vellykket prøve i 1881 steg antallet af elever betragteligt. I 1889 gik den første elev op til præliminæreksamen. Efter mange års overvejelser besluttedes det i 1894 at opføre nye bygninger på en grund i Kyseborgstræde. Bygningen var tegnet af arkitekten Magdahl-Nielsen. Dermed fik skolen sin nuværende placering.
Frem til 1907 dimiteredes til præliminæreksamen, men herefter overgik man til real- og mellemskoleeksamen. Frem til 1916 drev Frk. Holst skolen, herefter overtoges driften af skolebestyrer Magnus Lund. Denne omdannede i 1920 skolen til en fællesskole for både drenge og piger.
Skolen er blevet udvidet betragteligt siden 1894. I 1905 stod villaen ud til Skt. Nicolaj Gade færdig. I denne havde skolebestyreren sin bopæl og lærerne deres opholdsrum. Efter omdannelsen til fællesskole måtte hovedbygningen udvides i 1928.
Elevtallet steg frem til 1950’erne, hvor man nåede helt op på 572 elever! Herefter faldt elevtallet, så man i 1980 var nede på 225 elever.
I 2010 kunne skolen fejre sit 130 års jubilæum. Sammen med Haahrs skole er Ida Holsts skole den eneste af de gamle private skoler som stadig eksisterer.