O Rayo Vallecano, que leva o nome do seu subúrbio de Madrid, foi formado em 29 de maio de 1924 por um grupo de entusiastas do futebol que procuravam criar uma time de futebol que poderia competir no campeonato espanhol. Fonte
A sua jornada começou a nível regional, onde apresentaram desempenhos louváveis. No entanto, o clube lutou inicialmente para se firmar devido a restrições financeiras e até enfrentou o rebaixamento nos primeiros anos.
Uma conquista extraordinária nesses tempos foi quando conquistou seu primeiro título da Copa del Presidente de la República na temporada 1935-36, apesar de ser um time amador na época. Isto marcou um dos seus primeiros sucessos, que lançou as bases para futuras vitórias.