Im Spieljahr 1980/81 wurde die Mannschaft dann mit 40:4 Punkten ungeschlagen Meister der C-Klasse Pfaffenhofen und stieg wieder in die B-Klasse Süd auf. Aus Anlass dieses Aufstiegs wurde im Juli 1981 ein Radwallfahrt nach Altötting unternommen und eine Kerze gestiftet. In der B-Klasse konnte man im ersten Spieljahr nach dem Wiederaufstieg einen hervorragenden 4. Platz belegen und der SVG spielte sogar bis zum letzten Spiel um den begehrten 2. Platz mit. Aufgrund der auftretenden personellen Probleme erlebte man dann einen Rückgang auf den 9. Platz in der Saison 1982/83 und sogar einen 10. Tabellenplatz 1983/84. Der 5. Platz im Spieljahr 1984/85 ließ wieder eine gewisse Hoffnung aufkommen, zumal man über mehrere Spieltage sogar an der Spitze lag, aber bereits 1985/86 folgte der 13. Tabellenplatz und damit der vorletzte Platz, womit der Abstieg nach fünfjähriger Zugehörigkeit zur B-Klasse wieder besiegelt war.
Im Spieljahr 1986/87 erzielte man als Absteiger gleich wieder die Meisterschaft in der C-Klasse Pfaffenhofen mit 46:6 Punkten und der erneute Aufstieg war erreicht. In der letzten Saison erreichte man in der B-Klasse Süd einen durchaus beachtlichen 8.Tabellenplatz.
Als der SV Geroldshausen 1988 sein 40.Vereinsjubiläum feierte, stand die 1. Mannschaft auf dem 8. Platz der Tabelle in der B-Klasse. Aus Anlass dieses Jubiläums fand in Geroldshausen das Hallertauer Fußballturnier statt. Hier belegten die Geroldshauser in einem starken Feld den 4. Platz von 8 Mannschaften.
In der folgenden Punktspielsaison kam es gleich im ersten Spiel zum 1. Punktspielduell zwischen dem SVG und dem aus der A-Klasse abgestiegenen Lokalrivalen aus Wolnzach. Dieses Spiel endete 0:0 auf dem Sportplatz in Geroldshausen. Der SVG spielte immer in der oberen Tabellenhälfte mit und erreichte einen 7. Platz in der Abschlusstabelle.
Im DFB-Pokal kam man bis in die Runde der letzten 8 und schied erst gegen den ESV Ingolstadt aus, der sich bei der 0:7-Niederlage als um eine Nummer zu groß erwies.
In der Saison 1989/90 schnupperten dann die Geroldshauser zum ersten Mal an der A-Klasse, stand man doch zwischenzeitlich nach dem 7. Spieltag sogar an der Tabellenspitze vor den beiden Pfaffenhofener Mannschaften FSV und MTV. Zum Schluss der Runde sah es eigentlich lange so aus, als ob der SVG zumindest den alleinigen 2. Platz erreichen könne, der zu Aufstiegsspielen berechtigt hätte.
Am letzten Spieltag wurden die Unseren jedoch noch vom TSV Lichtenau eingeholt. Im fälligen Entscheidungsspiel um den 2. Platz verloren die stark ersatzgeschwächten Spieler um Trainer Elstner jedoch in Baar mit 1:3 und blieben der B-Klasse erhalten. Meister wurde souverän der FSV Pfaffenhofen.
Im nächsten Jahr wurde mit Harry Elender ein neuer Trainer verpflichtet und nach anfänglichen Problemen erreichte man mit dem 4. Platz wieder eine sehr gute Platzierung.
Die Saison 1991/92 sah den SVG lange Zeit in Abstiegsgefahr, aber zum Schluss konnte mit dem 8. Platz doch wieder ein Mittelplatz in der B-Klasse erreicht werden. Im Sparkassenpokal unterlagen die Geroldshauser erst im Endspiel gegen den Bezirksligisten Jetzendorf.
Zu Beginn der Saison 1992/93 kam mit Rainer Feuerlein ein neuer Trainer zum SVG. Die Geroldshauser kamen dabei zum ersten Punktspielerfolg gegen den Lokalrivalen aus Wolnzach nach 45 Jahren, als man zu Hause durch ein Tor von Georg Huber mit 1:0 gewinnen konnte. Nachdem der SV zwischenzeitig sogar auf dem 2. Tabellenplatz gestanden war, rutschte er nach dem 16. Spieltag bis auf den 11. Platz ab. Nach einer großartigen Aufholjagd unter dem neuen (alten) Trainer Ewerling Sebastian und einem erneuten Sieg gegen Wolnzach wurde jedoch die Tabelle von unten aufgerollt, und es fehlte am Schluss nur 1 Punkt auf den begehrten 2. Platz, den letztendlich doch noch der TSV Wolnzach behaupten konnte.
Zur nächsten Saison kam mit Sepp Bogenrieder ein neuer Mann auf den Trainerstuhl in Geroldshausen. Mit Erreichen des 5. Tabellenplatzes wurde dabei das Saisonziel — sich sicher im Vorderfeld der B-Klasse zu halten — erreicht.
Nicht so erfolgreich verlief die folgende Spielzeit, denn die Grün-Weißen mussten bis zum Saisonende zittern, und erst ein hart erkämpftes 0:0 am letzten Spieltag in Geisenfeld sicherte der Mannschaft von Trainer Haage Rudi den 10. Tabellenplatz und Erhalt der B-Klasse.
Zur Saison 1995/96 kam mit Hans Waltl ein neuer Trainer zum SVG.
In der Runde konnte man sich immer in der vorderen Tabellenhälfte halten und erreichte zum Schluss den 4.Tabellenplatz.