1406 erhielt Lüneburg das Recht, den Pfarrer für die St. Johanniskirche selbst zu benennen. Um die Stadtkirche St. Johannis in Konkurrenz zur Klosterkirche St.Michaelis attraktiv zu gestalten, wurde die Gründung der städtischen Johannisschule beschlossen. Damit gilt 1406 als das "Gründungsjahr" des Johanneums. Die Schüler wurden von Prämonstratenser-Mönchen unterrichtet. Ein eigener Rektor wurde erstmals 1532 ernannt und vom Rat der Stadt Lüneburg besoldet. Das Johanneum musste im Laufe seines Bestehens aus Platzgründen mehrmals umziehen.
Alle Gebäude tragen den Leitspruch: Das Johanneum diene der Lehre, der Tugend und der Menschlichkeit.
1828/29 entstand das erste heute noch bestehende Gebäude an der Nordseite der St. Johannis-Kirche, heute Johannes-Rabeler-Schule für geistig benachteiligte Schüler.
1870-72 entstand am Roten Wall (heute Haagestraße) ein neues Gebäude - lange Hauptschule Stadtmitte, heute Oberschule am Wasserturm - welche 1912-13 um einen Seitenflügel erweitert wurde.
1976-78 wurde ein komplett neues Gebäude in der Theodor-Heuss-Straße gebaut. Seit 2016 wird auch diese Schule erweitert, aber dieses mal ist genügend Platz zum Anbauen.