Cüneyt Sermet, Türkiye'de cazın kilometre taşlarının dikilmeye başlandığı yerdeki, ağır bir-iki taştan biridir. Doğumu, aşağı yukarı Duke Ellington Orkestrası'nın kuruluşu ile aynı yıla rastladığı için, "Ben cazla aynı yaştayım" diyor. Babası Tahsin Sermet, Cumhuriyet döneminin ilk mimarlarından, Ankara'da bakanlık binalarının bir kısmı, Kız Teknik Öğretim Enstitüsü, İzmir Milli Kütüphanesi ve Elhamra Sineması hep onun elinden çıkmış. Oğlunu zaten tanımayan kalmadı. Monako Konservatuvarı Öğretim Üyesi ünlü piyanistimiz Hüseyin Sermet. Cüneyt Sermet sapasağlam bir köprüdür bu iki kuşak arasında.

Cazla Robert Kolej'de okuduğu yıllarda lambalı radyolar vasıtasıyla tanışan Cüneyt Sermet konservatuvara da gitmekle beraber daha ziyade kendi kendini yetiştirmek ve bir "autodidact" olmakla övünmektedir. 1945-52 arası kurduğu küçük gruplar ve büyük orkestra ile Türkiye'de modern caz müziğinin temellerini atan ve pek çok müzisyen yetiştiren Cüneyt Sermet, 1954'de evlenince çok sevdiği kontrbasını bir kenara bırakarak kendini hocalığa ve müzik tenkitçiliğine vermiştir.

1943 yılında Amerika'daki ünlü "Metronome" dergisine yazdığı yazılarla Shelly Manne ve Ed Safranski gibi müzisyenlerin tanınmasını sağlayan ve 1947 yılında Jimmie Lunceford Orkestrası'na bir nevi danışmanlık yapan Cüneyt Sermet, 1959'dan itibaren Boston'daki ünlü Berklee Konservatuvarı'nın da Türkiye temsilcisi olarak bazı Türk müzisyenlerinin orada okumasına yardımcı olmuştur.

1950'lerin ortasından itibaren başta "Milliyet" olmak üzere pek çok gazetede devamlı yazıları çıkmış ve seminerler düzenlemiş olan Cüneyt Sermet, 1965'de Ankara Radyosu caz kısmı şefi olarak ilgiyle izlenen ve ders mahiyetinde olan caz programları yapmıştır. 1968'de Paris'e yerleşmesine rağmen, 1976 yılına kadar Ankara Radyosu'na yine adeta ders mahiyetinde caz ve klasik müzik programları yollamaya devam etmiştir.