Navnet har noget at gøre med kløft .Og ser man på den nordlige del af Kyseborgstræde, fra Sankt Nicolajgade til Gerritsgade, danner strædet da også en kløft mellem den gamle bebyggelse og resterne af den restaurerede byvold. Den sydlige del af Kyseborgstræde drejer i en bue mod nord, direkte mod Sankt Nicolaj Kirkes gamle, nu nedlagte, kirkegård.
Navnet forekommer allerede i dokumenter i 1481
De eksisterende bindingsværkshuse nr. 2 – 6 er opført fra 1740 til 1761.Husene blev ændret flere gange i 1800-tallet og er nu alle fredede. I forlængelse af disse lå nr. 8 – 10 ligeledes oprindelig opført 1761,disse måtte efter schalburgtage i 1944 nedrives.
Kyseborgstræde 2-10 findes i brandtaksation fra 1761., benævnt småhuse.
Sankt Nicolaj Præstegård lå oprindelig hvor nu Sankt Nicolaj Apotek, Nicolajgaarden, ligger.
Kyseborgstræde 1 er oprindelig udstykket fra Sankt Nicolaj Kirkestræde 3 . Her opførtes i 1920 en 2 etages pudset og hvidmalet ejendom med kælder og 2 kviste. Facaden er rigt dekoreret med klassicistisk inspireret ornamentik.
Kyseborgstræde 5 menes at have været ubebygget , eller periodevis bebygget, indtil 1884 hvor der bygges en privat pigeskole Ida Holst Skole. Skolen, som stadig eksisterer, og nu er for både piger og drenge
Kyseborgstræde 12, er en hjørnegrund til Sankt Nicolajgade ( nr. 6 ) den blev i 1837 udskilt fra Kyseborgstræde 16.Her blev i 1929 opført en 3 etages ejendom i røde mursten for K.F.U.M.
Vinkelret til denne bygning med facaden ud mod Kyseborgstræde var i 1919 opført en 2 etages ejendom.
Kyseborgstræde 16 udgjorde oprindelig en del af Gerritsgade 31. Bindingsværksejendommen har tjent som kornmagasin og lagerbygning. Ejendommen led stor skade ved en storm i Maj 1979, men da den er fredet blev den 
gennemrestaureret efterfølgende 1980-1981.