Formado pelos ex-gunners Slash, Matt Sorum e Duff McKagan, mais o guitarrista Dave Kushner (Suicidal Tendencies) e o frontman Scott Weiland (Stone Temple Pilots), o Velvet Vevolver começou em meados de 2002 quando Slash, Duff e Matt, acompanhados de Josh Todd e Keith Nelson tocaram juntos em um tributo a Randy Castillo, ex-baterista de Ozzy Osbourne, derrotado pelo câncer.
Alguns meses depois, com a saída de Josh e Keith, Duff anuncia na revista Classic Rock que a banda com codinome The Project era a prioridade dos ex-gunners, e anuncia também a varias publicações que eles estavam à procura de um vocalista, que tivesse traços de Alice Cooper/Steven Tyler (alguém aí se lembra do anúncio em que acharam o vocalista do Guns?!) e um pouco de McCartney e Lennon.
Dave kushner, que havia tocado com Duff na banda Loaded, é confirmado como guitarrista em outubro.
A banda continua a procurar vocalistas até que em abril de 2003 Scott Weiland é mencionado como uns dos candidatos. Entre eles estão nomes como o de Sebastian Bach (Skid Row), Travis Meek (Days of the New), Kelly Shaefer (Neurotica), Josh Todd (Buckcherry), A. Jay Popoff (Lit), Todd Kerns (The Age Of Electric, Static In Stereo) e Mike Patton (ex-Faith no More) que aparentemente recusou a proposta.
Scott começa a tocar com The Project, eles gravam Money, do Pink Floyd, para o filme "Uma Saída de Mestre" (The Italian Job) e começam a trabalhar na música que seria o tema do filme Hulk, "Set Me Free".
Em maio, é publicado na revista Rolling Stone que o nome da banda passaria a ser Reloaded, e Scott anuncia que é o vocalista definitivo da banda. Neste mesmo mês, Scott é preso por porte de drogas.
Em junho o nome da banda é novamente mudado, agora definitivamente, para Velvet Revolver, e no dia 19 ocorre o primeiro show, em Los Angeles. Nesse show eles tocam duas musicas próprias (Set Me Free / Slither) e quatro covers: It's So Easy (Guns), Sex Type Thing (Stone Temple Pilots), Bodies (Sex Pistols) e Negative Creep (Nirvana).
Em agosto assinam com a RCA Records. A banda diz: "Acreditamos que esta união será uma leal, dedicada e frutífera relação, não baseada somente em negócios, mas sim na única coisa que nos desafiou a sonhar - música".
No começo de outubro a banda termina o que seriam as "bases" de 14 músicas para o lançamento de um álbum. Scott é novamente preso por bater seu carro em outro, sob suspeita de estar sobre o efeito de álcool e drogas. É sentenciado a cumprir um regime de desintoxicação em uma clínica de reabilitação por 6 meses. Por sentença judicial ganha a permissão para ser liberado por quatro horas ao dia para que termine as gravações dos vocais para o álbum.
