Cem Karaca, 5 Nisan 1945 yılında İstanbul’ da dünyaya gelmiştir. Azerbaycan asıllı bir babanın ve Ermeni asıllı bir annenin oğludur. Robert Lisesinde ortaokul öğrenimi sürdürmüştür. Sesi çok beğenilen şarkıcı, kolejde olduğu zamanlar dünyada oldukça yayın olan, rock kültürüne merak salmıştır.
1962 yıllarında arkadaşlarının da ısrarıyla sahne alan Cem Karaca 1963 yılında ilk müzik gurubunu kurmuştur. O dönemlerde birçok sanatçıdan destek almıştır. Babasının kabul etmemesine rağmen annesi müzik konusunda en büyük destekçilerinden biri olmuştur. Daha sonra birçok gurup kuran ve bu gurupları dağılan sanatçı 1979-1987 yılları arasında Almanya’ da yaşadıktan sonra ülkemize dönüş yapmıştır.
Cem Karaca’ nın toplam 5 evliliği olmuştur. 1965 yılında ilk evliliğini, tiyatro sanatçısı olan Semra Özgür ile yapmıştır. Bu evlilikten Emrah adında bir oğlu olmuştur. Almanya’da yaşadığı dönemde ayrılmışlardır. 1993 yılında ise 4. evliliğini tekrar ilk eşi Semra Özgür ile yapmıştır. 5. ve son evliliğini İlkim Erkan ile yapan sanatçı, solunum ve kalp yetmezliği nedeniyle 8 Şubat 2004 tarihinde yaşama veda etmiştir.