Cenevizliler 1204'te Latin istilası sonrasında Galata bölgesine yerleşmeye başladı. 1303-1352 yılları arasında ise Venediklilerin baskısından dolayı bu bölgeyi surlarla çevirdi. İnşa edilen tarihi surlardan günümüze çok az bir kısım kaldı. Karaköy Azapkapı bölgesinde bulunan tarihi surlar zamanla evsizlerin barınağı haline geldi. Surların odalarında ve kemerlerinde ateş yakan, yapıyı tahrip eden evsizler nedeniyle kafesli önlem alındı. Surlar demirlerle kapatıldı. Çevrede esnaflık yapan Halit Şanslı "Surların olduğu yerler çok ıssız. Evsizler gelip ateş yakıyor, tarihe zarar veriyorlar. İnsanlar oradan geçmekten korkuyor. Demirle kapatılması iyi oldu." dedi.
Evsizlerle birlikte sahipsiz kaldığında depo ve ardiye olarak ta kullanılarak bakımsız ve korumasız hale geldikleri de kaydedildi.
