Rayo Vallecano, joka kantaa Madridin esikaupunkinsa nimeä, perustettiin 29. toukokuuta 1924 ryhmä jalkapallon harrastajia, jotka halusivat luoda jalkapallojoukkue joka voisi kilpailla Espanjan mestaruuskilpailuissa. Lähde
Heidän matkansa alkoi aluetasolta, jossa he esittelivät kiitettävät suoritukset. Aluksi seura kuitenkin kamppaili saadakseen jalansijaansa taloudellisten rajoitusten vuoksi, ja se oli jopa joutunut putoamaan alkuvuosina.
Eräs poikkeuksellinen saavutus näinä aikoina oli, kun he voittivat ensimmäisen Copa del Presidente de la Repúblican mestaruutensa kaudella 1935–1936, vaikka he olivat silloin amatöörijoukkue. Tämä oli yksi heidän varhaisimmista onnistumisistaan, joka loi perustan tuleville voittoille.