2002-2003-ban az együttes magját képező Kardos és Fűrész Gábor Tatabányáról feltöltötték az internetre első lemezüket, mely a „Majdnem Kína” címet viselte. A Pál Utcai Fiúk (PUF) honlapjára is belinkelték alkotásukat, amelyet a PUF frontembere is ajánlott rajongóinak. Így hamarosan a magyar underground széles területén vált ismertté a „Kaukázus” név. Az első interjúk, lemezkritikák azonban ennek ellenére sem hozták meg a hőn vágyott áttörést.
2008-ra önálló hangot találtak és néhány slágerükkel („Szalai Éva”, „Tesco”, „Tartós béke”, „Lift”) meghódították a fősodratú médiumokat is.
Felléptek az RTL Klub több műsorában, az ATV-n, a Hír TV-n, a TV2-n, cikkek jelentek meg róluk a Népszabadság, a Magyar Nemzet, a Népszava és sok más napi- és hetilapban, magazinokban.
2008-ban több mint 120 koncertet adtak országszerte, a legkisebb vidéki kluboktól kezdve a legnagyobb fesztiválokig.
Kardos-Horváth János a Magyar Köztársasági Ezüst Érdemkeresztjét vehette át 2008. augusztus 20-án Kiss Péter kancelláriaminisztertől a Országházban.
Zenei világuk komplex és igényes, a drum and basstől az alternatív rockon át a klasszikus értelemben vett popzenéig sokféle stílust ötvöznek.
Szövegeik egyaránt szólnak a tatabányai (majd később budapesti) fiatalok átlagos életérzéséről, néha a tudatmódosító szerekről, benyomásokról, politikáról, globalizációról, környezetvédelemről és egyéb olyan témákról, amik a mai fiatalok fejében megfordulhatnak.
2009 októberében bejelentették, hogy 2010. január 2-án tartják utolsó koncertjüket.
2013-ban azonban a zenekar újraalakult.
A felvételek a Főnix Stúdióban készültek 2014-ben.
Kardos-Horváth János - ének, bass
Fűrész Gábor - gitár
Fodor Máriusz - billentyűk
Toldi Miklós - dob
1. A jó, a rossz és a kreatív
2. Pingvin
3. Tartós béke
4. Rálátás
5. Mindenféle emberek istene
6. Teszkó
7. Lángis, tejföl
8. Ingatlan
9. Lift
10. Zánka
Extra:
Bazmeg
Kéksárga
Szalai Éva
Ciprus (Szódával elmegy) - video
Hatból a három - video
Riadó - video
Tv Priest My Other People 1 LP1:
One Easy Thing
Bury Me In My Shoes
Limehouse Cut
I Have Learnt Nothing
It Was Beautiful
The Happiest Place On Earth
..