Grundstykket, der består af to særskilt matrikulerede ejendomme, er i 1851 udstykket fra hjørnegrunden til Møllergade 13-15, hvor der lå et 14-fags én-etages bindingsværkshus med tilhørende to forhuse. Ved udvidelser, i bl.a. 1882 og 1902 opstod det nuværende bygningskompleks, der huser Restaurant Torvet (tidligere Torvecaféen), og som består af tre sammenbyggede huse: hjørnebygningen i en etage med en lille kvist og forhuset mellem denne og hjørnebygningen til Møllergade (Neyes hjørne), samt en sidebygning mod kirkepladsen i to etager. De sammenbyggede huse har pudsede, gulmalede facader med hvidmalet gesims. Tagene er beklædt med røde vingetegl. Den nuværende facade mod torvet er resultatet af en renovering i 1989, hvor taget blev forsynet med fire kviste.
De to matrikelnumre havde oprindelig hver sin ejer, i 1850’erne henholdsvis saddelmagermester Samuel Nayberg og drejermester Fredrik F. Wildschiødt. Senere ejer er Peter Hansen, som fra 1870’erne drev et værtshus. Siden da har der været café/restaurant i ejendommen, gennem en lang årrække under navnet Torvecaféen, som var et populært sted, hvor torvefolk og torvegæster mødtes til en snak over en kold eller varm forfriskning.
I sommerhalvåret udvides med en stor udendørscafé, hvor man kan nyde solen og betragte den pulserende torvehandel.
I 2015 overtog Janie Hansen Torvecaféen og ændrede navnet til Restaurant Torvet.
Børge Groth, Svendborg Byhistoriske Arkiv, 2017.