I en avisannonce i Svendborg Avis (7. november 1928) annonceredes efter personer, der ønskede at danne en frimærkeklub i Svendborg. Interesserede skulle møde på Chr. Petersens restaurant på Torvet, der nu hedder ”Torvecafeen”.
Datidens frimærkesamlere betragtedes som sky, generte individer, som ikke var kommet over barndommens glansbilledsamlinger og man talte under ingen omstændigheder indbyrdes om den fælles hobby. De godt 20 mennesker, der reflekterede på annoncen, stillede sig derfor op i passende afstand for at se, hvem der først tog mod til sig og gik ind i restauranten. Klubben blev imidlertid dannet samme år med det formål at hjælpe og gavne samlere i deres kære syssel under foreningens former. Den første formand blev tegnelærer Voss.
Med velvillig assistance fra Postmuseet og grev Ahlefeldt, Egeskov fik klubben efterfølgende sin første udstillingssucces i Wandall Hotels store sal. I 1934 kunne klubben magte en langt større udstilling i Borgerforeningen, men uheldigvis ødelagde det dårlige vejr fremmødet, så klubben kunne ikke overdrage et overskud, der var tiltænkt Juleindsamlingen.
Klubben har siden oprettelsen af Danmarks Filatelist Union været medlem af denne og har nydt godt af samarbejdet med landets andre klubber. Klubben kan se tilbage på flere store arrangementer som 25 års jubilæet i 1953, DFU's repræsentantskab i 1954, Frimærkests dag i 1963, 40 års jubilæet i 1968, Fiona udstillingen i 1972 og 60 års, 75 års og 80 års jubilæerne henholdsvis 1988, 2003 og 2008.
Klubben holder til i SG Hallen på Johannes Jørgensensvej 10, hvor der holdes medlemsmøder hver anden torsdag aften. Det var også SG-Hallen, der dannede rammen om Svendborg og Omegns Frimærkeklubs største arrangement, i 1988 (ved 60 års jubilæet) under mottoet ”Svendborg på mærkerne”. I den forbindelse blev udgivet et meget stort udstillingskatalog med mange interessante artikler fra frimærkernes verden.
Af avisartikler fra 1988 fremgår, at medlemstallet lå på omkring 150 personer og med en stigende tendens. I 1988 etablerede klubben en speciel junior-afdeling. Det fremgår at kæmpeudstillingen i 1988 havde til formål at skaffe en bredere kreds af klubmedlemmer, og derfor blev der også fremstillet en speciel avis i små 50.000 eksemplarer, der blev husstandsomdelt på Sydfyn og de sydfynske øer. Det fortælles videre, at udstillingen blev besøgt af hele busselskaber og at antallet af hotelovernatninger i Svendborg steg.
I tidens løb er der skrevet mange bøger til og om filatelister. En frimærkesamler arbejder generelt hele tiden på at komplettere sin samling, uanset hvilket område der har ens interesse, samtidig er vedkommende hele tiden på udkik efter at ”gøre et fund”, som typisk vil kunne betegnes som et ”godt” dyrt mærke. Hertil er de årlige AFA-kataloger nærmest en uundværlighed.
Interessen for at samle på frimærker og samtidig være medlem af en frimærkeklub synes imidlertid at være for nedadgående og på Svendborg og Omegns Frimærkeklubs hjemmeside kan man i 2013 læse, at antallet af klubmedlemmer for tiden udgør ca. 80 personer.