Sezer İnanoğlu'nun 1996 yılında evlendiği ilk eşi sunucu Nil Pınar İnanoğlu, Beykoz'daki yalılarında 23 Mart 1997'de başına tabancayla ateş ederek intihar etmişti. Sezer İnanoğlu'nun eşinin ölümünün ardından bunalıma girdiği ve uyuşturucu kullanmaya başladığı iddia edilmişti.
Sezer İnanoğlu, 19 Şubat 2007 tarihinde cezaevindeyken evlendiği ve 2,5 yıldır ayrı yaşadığı eşi Mehtap Meral Baykasoğlu'ndan 27 Eylül 2013 tarihinde anlaşmalı olarak boşandı.
Mahkemece onaylanan protokole göre kızları Arzum Ayşe'nin velayeti anneye verilirken, Sezer İnanoğlu aylık 16 bin lira nafaka ödemeyi, 900 bin liralık bir ev almayı, boşandığı eşinin kullandığı aracı ve onun ailesinin oturduğu evi devretmeyi ve 200 bin lira maddi tazminat ödemeyi kabul etti. Kızının tüm masraflarını üstlenen İnanoğlu, eski eşinin evleninceye kadar İnanoğlu soyadını kullanmasına da izin verdi.