Heribert Weber wechselte 1978 nach der WM in Argentinien von Sturm Graz zu Rapid, wo er zunächstals Mittelfeldspieler zum Einsatz kam, aber in der Folge die Position des langjährigen Stamm-Liberos PeterPersidis einnahm. Ab da war er ein Jahrzehnt lang der unangefochtene Abwehrchef der Grün-Weißen und maßgeblichan den großen Erfolgen in den 80er-Jahren beteiligt.

Mit Heribert Weber errang Rapid vier Meistertitel und vier Cupsiege und erreichte 1985 das Finale imEuropacup der Cupsieger. Nach dem Abschied von Hans Krankl war Weber auch Kapitän bei Rapid. 1981 wurde ihm dieEhrenkapitäns-Würde verliehen. Nach Streitigkeiten mit der Rapid-Führung wechselte Weber 1989 zu AustriaSalzburg, wo er als bereits 38-Jähriger 1994 ebenfalls Meister wurde und abermals ein europäisches Finaleerreichte.

Danach beendete er seine aktive Karriere, in der er auch 68 Mal im Österreichischen Nationalteam spielteund an zwei Weltmeisterschaften teilnahm. Auch als Trainer war Weber erfolgreich und holte 1997 mit AustriaSalzburg abermals den Titel. Von 1998-2000 kehrte er zu Rapid zurück, ein Meistertitel blieb ihm allerdingsversagt. 1999 wurde Heribert Weber ins "Rapid-Team des Jahrhunderts" gewählt.