Rayo Vallecano, dengan nama pinggir bandar mereka di Madrid, telah ditubuhkan pada 29 Mei 1924 oleh sekumpulan peminat bola sepak yang ingin mencipta pasukan bola sepak yang boleh bersaing dalam kejohanan Sepanyol. Sumber
Perjalanan mereka bermula di peringkat serantau, di mana mereka mempamerkan persembahan yang membanggakan. Bagaimanapun, kelab itu pada mulanya bergelut untuk membina kedudukannya kerana kekangan kewangan dan malah berdepan penyingkiran pada tahun-tahun awal.
Satu pencapaian luar biasa pada masa-masa ini ialah apabila mereka memenangi gelaran Copa del Presidente de la República pertama mereka pada musim 1935-36 walaupun menjadi pasukan amatur ketika itu. Ini menandakan salah satu kejayaan terawal mereka yang meletakkan asas untuk kemenangan masa depan.