Karaca, 1965'te ilk evliliğini tiyatro sanatçısı Semra Özgür ile yaptı. Evlendikten 3 gün sonra Karaca, askere gitti. Bu dönemde Karaca, Anadolu kültürünü tanımaya başladı. Türk ozanlarından Aşık Mahzuni Şerif ile tanıştı. Cem Karaca, Şubat 1967'de gitarist Mehmet Soyarslan'ın kurduğu Apaşlar grubu ile tanıştı. Karaca, grup ile birlikte Altın Mikrofon 1967'ye katıldı. Yarışmaya katıldıkları Emrah şarkısı Erzurumlu Emrah'ın şiirine yapılmış bir Karaca bestesiydi. Yarışmada Karaca'nın grubu ikinci oldu. Cem Karaca ve Apaşlar, 1968'de Almanya'ya gidip Ferdy Klein Orkestrası ile 45'likler kaydetti. Bu dönemde Soyarslan şarkısı "Resimdeki Gözyaşları", Karaca'nın Emrah'tan sonraki ikinci hit parçası oldu. Bu plak sonrası büyük bir Türkiye turnesi oldu. Ayrıca Almanya'da konserler devam etti. Ayrıca yurtdışına açılmak için İngilizce bir 45'lik kaydedildi. Bunlar Resimdeki Gözyaşları ve Emrah'ın İngilizce versiyonlarıydı. Bu dönemde Cem Karaca, tiyatro sanatçısı Meriç Başaran ile evlendi. Sene sonunda Milliyet'in 1968'in "En Sevilen Erkek Şarkıcıları" anketinde 4. oldu. "Yılın Melodileri" anketinde ise Resimdeki Gözyaşları Türkçe şarkılar arasında 3. oldu. Türkçe ve yabancılar karışık listede ise Resimdeki Gözyaşları dokuzuncu, Cem Karaca bestesi "Ümit Tarlaları" ise 24. oldu.
"Bu Son Olsun / Felek Beni" plağından sonra grup dağıldı. Aynı yıl Cem Karaca, Bunalım grubunun prodüktörlüğünü ve menejerliğini yapmaya başladı. İlk 45'likleri "Taş Var Köpek Yok/Yeter Artık Kadın" şarkılarının ikisinin de söz ve bestesinde Cem Karaca'nın da adı geçmektedir. Bu 45'likten sonra bu işi bırakan Karaca, grubun bateristi Hüseyin Sultanoğlu'nu kendi grubu Kardaşlar'a almıştır. 1970'in başında grup üyelerinde birçok değişiklikler oldu. Grup üyeleri sabitlendikten sonra, Almanya'da kayıt yapmaya karar verdiler ancak salgın hastalık yüzünden, Karaca ve Kardaşlar Almanya'ya gidemedi. Bu yüzden Cem Karaca, tek başına Köln'e gitti. Kendi besteleri ve Anadolu türkülerini yine Ferdy Klein orkestrası ile kaydetti. 1970 Kasım'ında ise Karaca ve Kardaşlar "Dadaloğlu/Kalender" 45'liğini yayınladı.
1972'ye Cem Karaca ödülle başladı. Hey Dergisi tarafından "1971'in en iyi erkek şarkıcısı" seçildi ve Hey'in turnesine katıldı. Ancak Kardaşlar gitaristi Seyhan Karabay ile anlaşmazlıklar yaşanmaya başladı ve Karaca, Kardaşlar ile yollarını ayırdı. Cem Karaca, Kardaşlar'dan ayrılıp Anadolu Rock'ın güçlü sesi Moğollar'la birleşirken Kardaşlar da Moğollar'la anlaşamayan Ersen Dinleten'i gruplarına dahil etti. Kasım 1972'de Hey dergisi için verdikleri konserde ilk kez sahne aldılar. Yıl sonunda Milliyet'in anketinde Cem Karaca, en iyi erkek şarkıcılar listesinde 2. oldu, Moğollar ise en iyi yerli topluluk seçildi. Hey Dergisi'nde ise ikisi de kendi dallarında 1. seçildiler. Grubun asıl başarısı 1974'ün başında kaydedilen "Namus Belası" şarkısı ile kazanıldı. Şarkı çok popüler oldu, öyküsü Hey dergisinde çizgi roman olarak yayınlandı. Ancak bu plak sonrası Cahit Berkay çalışmalarını Fransa'da devam ettirmeye karar verince Cem Karaca ve Moğollar yollarını ayırdı.
Moğollar'dan ayrılan Cem Karaca, önce Fransa'ya gitmeyen Moğollar elemanları Mithat Danışan ve Turhan Yükseler ile "Karasaban" grubunu kurdu ama uzun ömürlü olmadı. Mart 1974'te Dervişan grubunu kurdu. Şubat 1975'te "Tamirci Çırağı" yayınlandı. 1975'in sonunda "Mutlaka Yavrum/Kavga" 45'liği yayınlandı. Aynı yıl Cem Karaca, Hey dergisi tarafından bir kez daha en iyi erkek şarkıcı olarak seçildi. Cem Karaca ve Dervişan, 1978'in başında 1 Mayıs plağından sonra yollarını ayırdılar.
Cem Karaca, Dervişan sonrası çoğu Kurtalan Ekspres'ten olmak üzere bir müzik grubu kurdu. Adını da Türkiye'nin iki ucu olan Edirne ve Ardahan'dan esinlenerek Edirdahan koydu. Ancak grup 20 gün sonra Kurtalan Ekspres elemanlarının eski gruplarına dönmesiyle eleman değişikliğine uğradı. 1978'de Cem Karaca, Edirdahan ile kaydettiği ilk ve son teklisi Safinaz'ı yayınladı. Cem Karaca, 1979'da Londra'daki dünyaca ünlü Rainbow Arena'da konser verme başarısı gösterdi. 1979'da grup dağıldı, Cem Karaca da uzun yıllar sonra ilk kez yanında bir grup olmadan solo olarak çalışmaya başladı. Bu dönemde ayrıca Almanya'ya taşındı. Karaca, çeşitli nedenlerle 6 Ocak 1983'te Yılmaz Güney ile aynı gün Türk vatandaşlığından çıkarıldı. Vatandaşlıktan çıkarılmasına sebep olan davadan beraat etti. 1987'de de hakkında verilen gıyabi tutuklama kararı kaldırıldı. 29 Haziran 1987'de Cem Karaca, Türkiye'ye döndü.
22 Temmuz 1992'de annesi Toto Karaca hayatını kaybetti. Cem Karaca, bir süre müzikle aktif olarak ilgilenmedi. 1994'te TRT'de Raptiye adlı programı sundu. 1995'te ise Flash TV'de Cem Karaca Show'u, 1996'da aynı kanalda "Efendime Söyleyeyim" programını yaptı. 95'te bir sanatçı grubu ile Bosna-Hersek'e gidip, savaş sonrası zor durumda olan Bosnalılara destek verdi. Sanatçının müziğe geri dönüşü 1997'nin sonunda vizyona giren Ağır Roman ile oldu. 2000'de Cem Karaca'nın da rol aldığı Kahpe Bizans'ın müziklerinin bazılarını seslendirdi. Mayıs 2001'de ise Barış Manço'nun ölümü ile vokalistsiz kalan Kurtalan Ekspres ile beraber çalmaya başladı. Sanatçı, çeşitli tiyatro oyunu, dizi ve filmlerde de yer aldı.
CEM KARACA NEDEN, KAÇ YAŞINDA ÖLDÜ?
8 Şubat 2004 tarihinde solunum ve kalp yetmezliğine bağlı olarak ağır bir kalp krizi geçirdi. Kaldırıldığı hastanede 58 yaşında hayata gözlerini yumdu. Hastane tarafından yapılan açıklamada Karaca'nın ölüm sebebi kalp ve solunum durması olarak belirtildi. 9 Şubat 2004'te Karacaahmet Mezarlığı'nda babası ile aynı mezara defnedildi.
Cem Karaca ilk evliliğini 22 Aralık 1965'te Semra Özgür ile yaptı. Karaca, 1968'in sonunda Meriç Başaran ile bir ilişki yaşamaya başladı. Ekim 1968'de Karaca ikinci evliliğini Başaran ile yaptı. Bu evlilik de 2 yıl sürdü. Üçüncü evliliğini Feride Balkan ile 21 Ağustos 1972'de yaptı. 1976'da çiftin oğulları Emrah Karaca dünyaya geldi. Çift, Cem Karaca'nın Almanya'da zorunlu yaşama döneminde ayrıldı. 5 Temmuz 1993'te Cem Karaca, dördüncü evliliğini ilk eşi Semra Özgür ile yaptı. Cem Karaca'nın son evliliği ise İlkim Erkan ile oldu.