La Terra è sotto la minaccia dei Mikenes, un antico popolo mediterraneo che un cataclisma aveva costretto a rifugiarsi per millenni nelle viscere del pianeta, affidando la loro sopravvivenza a un sole artificiale. In età recente, un gruppo di ufficiali guidati dal Generale Nero, che hanno convertito i propri corpi in quelli di giganteschi automi, si impadronisce con la forza del regno e ne trasforma la popolazione (compreso il loro monarca Kerubinus) in soldati robot o in mostri da combattimento, con l'evidente scopo di iniziare una guerra di conquista.
A capo dei Mikenes è un colossale essere di fiamma noto come Imperatore delle Tenebre, probabilmente una potenza infernale. È certo la sua influenza a risvegliare i Mikenes da un lungo sonno e a spingerli all'azione, anche se essi sanno che solo in questo modo potranno finalmente lasciare il sottosuolo e avere un luogo migliore e più luminoso dove vivere. I Mikenes prestano dapprima un certo aiuto al Dottor Hell, impegnato nella sua lotta contro Mazinga Z, ma, preso atto della sconfitta dello scienziato, decidono di sferrare un attacco diretto alla Terra. I loro mostri distruggono Tokyo e altre metropoli mondiali e, nell'arco di due violenti scontri, danneggiano in modo gravissimo Mazinga Z, nuovamente intervenuto sul campo di battaglia. A questo punto, però, compare all'improvviso un nuovo robot di nome Grande Mazinga, fatto costruire segretamente da Kenzo Kabuto, che affronta con inusitata energia i giganti mikenes e riesce ad abbatterli. Da quel momento ha inizio una nuova guerra, e di conseguenza la seconda serie animata. Il Grande Mazinga riprende ed evolve la tecnologia di Mazinga Z: corazzato con una nuova superlega e meglio armato: può ad esempio lanciare potentissime scariche elettriche e scagliare un boomerang che porta sul petto. Possiede inoltre la capacità di volare da solo grazie a due ali retrattili che porta sulla schiena, mentre Mazinga Z doveva attendere l'invio del Jet Scrander, uno speciale modulo al quale agganciarsi.

La serie, composta di 56 episodi, si inserisce nello stesso universo narrativo al quale appartengono anche Ufo Robot Goldrake e Mazinga Z. Contemporaneamente all'anime fu sviluppato anche il manga, che Nagai affidò, come era accaduto per Mazinga Z, al suo collega Gosaku Ota. Il lavoro di Ota sviluppa meglio il carattere di alcuni personaggi e si rende parzialmente autonomo dalle vicende dell'anime.
Il Grande Mazinga appare anche in altri quattro film quasi contemporanei alla serie (Il Grande Mazinga contro Getta Robot, Il Grande Mazinga contro Getta Robot G, Ufo Robot Goldrake contro il Grande Mazinga e Ufo Robot Goldrake, Getta Robot G ed il Grande Mazinga contro il Dragosauro).