iros ensaios John tocava a guitarra e Douglas tocava o baixo e cantava. Para homenagear o produtor Phil Ramone, batizaram a banda de Ramones e todos usaram "Ramone" como sobrenome, como se fizessem parte de uma família. A história, porém, gera controvérsias, uma vez que alguns afirmam que, na verdade, eles apenas fizeram uma brincadeira com fato de Paul McCartney se registrar em hotéis sob o pseudônimo de "Paul Ramon".Nos primeiros ensaios os Ramones tentaram tocar músicas de outras bandas, mas não conseguiram. Então decidiram escrever suas próprias músicas. I Don't Wanna Walk Around With You foi escrita no primeiro ensaio. Depois eles escreveriam I Don't Wanna Get Involved With You, I Don't Wanna Be Learned, I Don't Wanna Be Tamed (o título era a letra inteira, mas Joey cantava "Timed" no lugar de "Tamed") e I Don't Wanna Go Down To The Basement. Eles não haviam escrito nenhuma música "positiva" (isto é, sem as palavras "I Don't") até surgir a música Now I Wanna Sniff Some Glue. Logo após, It's A Long Way Back To Germany, Blitzkrieg Bop, I Don't Care e Babysitter foram adicionadas ao repertório.
O conhecimento musical dos Ramones era limitado. Dee Dee tinha dificuldade para tocar baixo e cantar ao mesmo tempo, assim como Joey não conseguia cantar e tocar bateria ao mesmo tempo. A banda decidiu, então, que os vocais ficariam com Joey, e que iriam procurar um novo baterista. Foram feitos diversos testes no pequeno estúdio Performance Studio, onde trabalhava um velho amigo dos integrantes da banda, Thomas Erdelyi. Antes de cada teste, Erdelyi pegava as baquetas para mostrar aos candidatos como era o estilo da banda, e como Johnny, Joey e Dee Dee não gostaram dos candidatos que se apresentaram, logo ficou evidente que o melhor baterista para os Ramones seria o próprio Erdelyi. Ele adotou o nome Tommy Ramone e entrou na banda.
O primeiro show dos Ramones foi feito no Performance Studios, em 30 de março de 1974. Logo a banda passaria a fazer shows na casa noturna CBGB's, integrando uma cena "underground" composta por bandas como Blondie, Television, The Cramps, Talking Heads, The Voidoids e The Patti Smith Group.
Em 1975 conseguiram um contrato de cinco anos com a gravadora Sire Records. Seu primeiro LP, Ramones, lançado em 1976, tinha 14 músicas rápidas e curtas — a duração do álbum é de pouco mais de 29 minutos. A banda começou a fazer shows nos Estados Unidos para divulgar o álbum, mas fora de Nova York a recepção do público não foi calorosa. A exceção foi a Inglaterra: um show realizado em Londres em 4 de julho de 1976 foi um grande sucesso. Entre os presentes no show estavam os integrantes de bandas que ainda estavam dando seus primeiros passos, como The Clash e Sex Pistols, que compartilhavam com os Ramones as influências musicais de Stooges, MC5 e New York Dolls.
