La caída ante el CD Castellón (1-2) supuso un gran golpe para la entidad herculana en el aspecto deportivo (su descenso a la tercera categoría del fútbol español y, para mayor desgracia, el Elche había logrado el ascenso a Primera), en el institucional (el presidente Orgilés tuvo que inscribirse como socio para optar a la elección) y, en lo económico. Otras fuentes o registros computan mayor cantidad de goles, teniendo en cuenta los convertidos en encuentros juveniles, amistosos, de exhibición y no oficiales. Ese mismo año un jugador importantísimo y vital fue Calsita, que a punto estuvo de llevar al Hércules a Primera con sus 23 goles, pero no tardó el Atlético de Madrid, quien se proclamara campeón de liga, en llevárselo a sus filas. Después con la presidencia de Juan Pastor Catalán que fue el primer olímpico alicantino en la modalidad de boxeo, volvió a brillar y se colocó nuevamente en Primera División aunque en breve volvería a caer a Segunda. En las restantes temporadas (desde la 1976-77 hasta la 1979-80) el equipo se mantuvo entre los puestos 12.º y 15.º y cabe destacar a jugadores que marcaron la huella del mejor Hércules de la historia: Luis Andreu, Humberto Núñez, Varela, Carcelén, Saccardi, Giuliano, Tigre Barrios, Aracil, Benito Joanet y Kustudić.
Hércules encajaba una humillante derrota en La Rosaleda por un 9-2. Lo anecdótico del partido fue que todos los goles contrarios los marcó el mismo jugador, Bazán, y las crónicas hablan del guardameta herculano Cosme como el mejor de su equipo. La temporada del 1953-54 no comenzó bien pero al final, teniendo como entrenador a Amadeo Sánchez, llamado «El Gigante Asturiano», consiguió ascender en el último partido jugado en el estadio de Bardín que fue pequeño para acoger a todos los aficionados que fueron el día 27 de junio del 1954, los cuales quisieron estar presentes en el partido contra el Osasuna. El Hércules abandonó el Estadio Bardín y se instalaron en el estadio La Viña, conocido también como el campo de La Florida ya que estaba situado en dicho barrio. En las contiendas deportivas, los encuentros disputados entre ambos equipos en siguieron teniendo un predominio blanco, dejando en la historia una nueva polémica arbitral correspondiente a la final de Copa disputada en el Nuevo Estadio de Chamartín en 1968. Durante el mismo, «los blancos» reclamaron dos penaltis no concedidos por el colegiado Antonio Rigo, hecho que propició el lanzamiento de botellas desde la grada quedando desde entonces recordada como «la final de las botellas».
Además, camiseta de fútbol de sus botas salió el último gol del Mallorca en el Lluís Sitjar contra el Celta de Vigo tras un lanzamiento de falta. Un Irán de mentalidad defensiva luego derrotó al campeón de la Copa del Golfo Pérsico Catar 1-0 gracias a un gol de Sardar Azmoun antes de derrotar a los Emiratos Árabes Unidos por el mismo marcador para alcanzar la cima de su grupo. El 4 de marzo, visitó al Deportivo Quito con derrota 1-0, luego de un brillante partido en el que se perdieron muchas opciones de gol. Esta situación invitó a que el presidente Don José Rico Pérez apostara por la construcción de un estadio que albergara a una afición creciente (se rozaban cifras de 20.000 socios) y optar a ser sede de competiciones importantes como el Mundial de Fútbol de España 1982. Así fue que, en el verano de 1974, con un Hércules pletórico, recién ascendido a Primera División, se inauguraba el estadio José Rico Pérez durante un partido contra el FC Barcelona. Philipp Lahm fue elegido como el Jugador Budweiser del partido. El equipo sin duda aprendió de estas experiencias sin embargo, a pesar de un planteamiento bastante conservador en el partido inaugural, Libia comenzó a ofrecer más para el futuro, con Ahmed Saad y Ihaab Boussefi dando dobletes para los partidos ante el campeón Zambia y Senegal, mostraron su evidente talento en el escenario continental y mundial.
En la siguiente temporada (1975-76) los alicantinos volvieron a sorprender, convirtiéndose en el 6.º mejor equipo de España, perdiendo sólo un partido como local y situándose por encima de equipos de la talla del Betis, Valencia, Sevilla o Zaragoza. Como nota anecdótica, este equipo ganó los dos partidos al Elche, club que también militaba en Primera División en estos años. 6285 espectadores. El estadio del Eibar es el de menor capacidad de la Primera División y solo hay tres con menor capacidad en Segunda División. Él quiere hacer un club grande pero ve que la capacidad del viejo campo estrangula las posibilidades de expansión. El estadio tenía una capacidad para 25 000 personas. El objetivo del juego variaba de código en código, pero por lo general se trataba de llevar una pelota al centro del pueblo vecino, o si se jugaba dentro de un mismo pueblo, llevarla a alguna plaza o mercado, motivo por el cual muchas personas sellaban sus puertas y ventanas para evitar destrozos. El juego era irregular, alternando derrotas extrañas con victorias espectaculares como un doble 5-0 consecutivo a Getafe y Torrevieja.