Rayo Vallecano, du nom de leur banlieue madrilène, a été fondé le 29 mai 1924 par un groupe de passionnés de football cherchant à créer un équipe de football qui pourrait concourir dans les championnats espagnols. Source
Leur parcours a commencé au niveau régional, où ils ont présenté des performances louables. Cependant, le club a eu du mal au début à s'établir en raison de contraintes financières et a même été confronté à la relégation au cours des premières années.
Un exploit extraordinaire à cette époque a été lorsqu'ils ont remporté leur premier titre de Copa del Presidente de la República lors de la saison 1935-36, alors qu'ils étaient alors une équipe amateur. Ce fut l’un de leurs premiers succès qui posa les bases de victoires futures.