Boğaziçi'nin en eskilerinden (1760) olan Saffet Paşa Yalısı, 1035 metre kare büyüklüğündeydi. Saffet Paşa (1814-1883) 3 kez Hariciye Nazırlığı, 3 kez Maarif Nazırlığı ve Sultan Abdülhamit döneminde 4 ay kadar Sadrazamlık da yapmış, devrin çok önemli bir şahsiyetidir. 93 Harbi olarak bilinen 1877-1978 Osmanlı- Rus Savaşı, Osmanlının yenilgisiyle sonuçlandığı gibi, Rus Ordusu Ayestefanos'a (Yeşilköy) kadar gelmişti.
Osmanlı için çok ağır koşullar içeren anlaşmayı, 3 Mart 1878'de Saffet Paşa imzalamıştı. Diplomasi gereği düşmanlarını da bu yalıda ağırlamıştı. Saffet Paşa'nın ölümünden sonra yalıda Faiz Bey ve torunu Fuat Bey ile Faiz Bey'in abisi Refet Bey'in kızı Saniye Hanım ve eşi İsmail Cenani oturdular. 1966 Yapımı "Çalıkuşu" filmi mesela tamamen bu yalıda çekilmiştir.
Orijinal yalının son sahibi Cenani Ailesi'nin geçim sıkıntısı daha önce başlamıştı. Yalının selamlığı, 1921 yılında kardeş torunu oldukları Sedat Simavi'ye satıldı. Saniye Cenani, Sedat Simavi'nin teyzesiydi. Saffet Paşa'nın torunu olan Sedat Simavi 1939'da selamlığı yıkıp yerine yeni bir yalı yaptı. Burası da Simavi Yalısı olarak bilinir.
Sedat Simavi, 1953'te kendi adını taşıyan yalıda vefat etti. Yalı da Günaydın'ın sahibi büyük oğlu Haldun Simavi ve Hürriyet'in sahibi Erol Simavi'ye kaldı. Yalıda Erol ve Belma Başar Simavi oturmaya başladı. Bu evlilikten Sedat ve Saffet isimli iki çocukları oldu.
Saffet uyuşturucu bağımlısıydı ve bu yalıda intihar etti. Kanlıca'daki bu yalı, 1976'da tamamen yandı ve eskisine benzer olarak yeniden inşa ettirildi. Yeni yalının ilk sahibi Sabancı Ailesi'nin akrabası ve Akbank'taki kurucu ortağı Sapmaz Ailesi oldu.
1980'lerin başında maddi krize giren Sapmaz Ailesi, yalıyı satmak zorunda kaldı. Yalının yeni sahibi Dinç Bilgin oldu. 2001 krizi sonrası TSMF tarafından mal varlığını el koyulan Dinç Bilgin'in yalısını bu kez Toksöz Holding aldı. Toksöz çifti, anlaşmazlığa düştükleri iki oğlunu yalıdan kovdu. Aile kavgası devam ederken Erol Toksöz aniden yalıda vefat etti.
Şirketlerin başına geçen iki kardeşle, anneleri mahkemelik oldu. Eski yalının sahiplerinden torun Sedat ise gazeteyi yürütemedi ve Hürriyet, Aydın Doğan'a satıldı. Erol Simavi, İsviçre'ye gitti ve 2015'te Monaco'da öldü.