Tidligere var toldembedet på Drejø et embede, som en familie kunne leve af (måske smuglede man mere den gang?). Embedet omfattede de 4 øer i Det sydfynske Øhav, Skarø, Hjortø, Birkholm og Drejø. Det blev senere til et toldopsynsembede, et bijob, hvor det blev delt op, så Skarø fik egen Toldopsynsmand, mens Hjortø, Birkholm og Drejø forblev samlet under een Toldopsynsmand, som boede på Drejø. Ved kommunesammenlægningen i 1964 kom Birkholm under Marstal Kommune.
Jobbet bestod bl.a. i at tjekke alle både, der lagde til øerne, for smuglergods, kigge efter forsvundne personer til søs etc. Tolderen fik stillet en cykel til rådighed, mens båd var for egen regning. Han skulle flage på officielle flagdage med toldflag (splitflag).
Den første toldopsynsmand boede i Det gamle Tolderhus, som blev bygget 1905 på Bækskildevej. Huset står endnu, og har det gamle toldertegn indmuret på forsiden af huset. Snedker Hans Mortensen havde bygget og ejede huset, som han derefter lejede ud til Tolder Peder Anton Hansen. Han blev afløst i 1908 af Rorsmand Poul Hansen Poulsen, som der står i hans ansættelsespapirer fra Svendborg Toldkammer. Poul Poulsens er født 8. sept. 1877 i Nordby på Fanø. Han blev uddannet som skibsfører og sejlede en del år, men sejlskibsflåden fra Fanø begyndte så småt at forsvinde. Han søgte derefter generaltolddirektoratet i København om plads som Toldbetjent, hvilket han fik på Drejø den 8. oktober 1908. I 1912 blev han forflyttet til København, og blev på Drejø afløst af kvaseskipperen Christen Mortensen Pedersen fra Husmandsvej, Drejø. Christen kom fra Hjortø, men blev gift med Margrethe fra Den gamle Skole på Drejø. Han byggede huset på Husmandsvej i 1900 - det fik siden tilnavnet Tolderhuset. Han måtte dog stoppe med kvasesejlads p.g.a. dårligt helbred og gik i land i 1912, hvor han, foruden at få toldembedet, også var blevet valgt til Sognerådsformand. Han døde i 1922, hvorefter embedet overgik til hans søn Harald Pedersen, kaldet Harald ”Tolder”. Han var derefter toldopsynsmand indtil sin alt for tidlige død i 1950.
Kaj Pedersen, søn af Kromand Gunnar Pedersen, som byggede Drejø Badehotel, overtog jobbet den 01.08.1950 efter Haralds død, og Kaj beholdt jobbet indtil udgangen af juli 1974, hvor embedet blev nedlagt, og kom ind under Svendborg Toldkammer.
Drejø Sogns Lokalhistoriske Arkiv / Else Hjort Nielsen. 2015.