Herzog Georg Wilhelm zu Braunschweig-Lüneburg wurde gedrängt sich mit Sophie von der Pfalz zu verheiraten oder auf weitere Apanagen zu verzichten. 1658 verzichtete er auf diese Ehe und überließ seine Verlobte seinem jüngeren Bruder Ernst-August. Um das Fürstentum nicht teilen zu müssen übertrug er auch sämtliche Erbansprüche auf diesen und verpflichtete sich, wenn überhaupt nur unter Stand zu heiraten.
Eleonore Desmier d`Olbreuse aus dem hugenottischen Landadel und Herzog Georg Wilhelm heirateten aus Liebe und lebten in Celle.
Um seiner Gemahlin einen standesgemäßen Alterswohnsitz bieten zu können (sie war die Urgroßmutter von Friedrich dem Großen), kaufte er in Lüneburg einen gotischen Backsteinbau von etwa 1550 und ein Renaissance-Doppelhaus des Bürgermeisters und Patriziers Franz Witzendorff. Zwischen 1696 und 1698 ließ er diese drei zusammenhängende Gebäude an der Nordseite des Marktplatzes zu einer angemessenen Residenz umbauen. Es entstand ein massiger Barockbau in dem Eleonore Desmier d`Olbreuse bis 1717 lebte und sich um vertriebene protestantische Hugenotten kümmerte.
Die bisherige Residenz des Herzogs, das "Hertogenhus" am Ende der Straße, hatte laut Ratsverordnung mehr als 100 Jahre keine Küche sondern wurde von der Ratsküche versorgt. So konnte man die Anwesenheit des Herzogs "regulieren".
Als Georg-Wilhelm das Schloss errichten ließ, setzte er sich gegen den Willen des Rates durch und baute auch ein eigenes Küchenhaus neben dem Schloss. Ein überdachter Gang verband die Küche mit dem Schloss und mündete dort wo heute die Herrentoilette ist.
Baumaterial war knapp und sehr teuer. Eine allgemeine Ratsverordnung gab vor, dass bei Umbauarbeiten das alte Baumaterial wiederverwendet werden musste sofern es noch intakt war. Deshalb sind noch heute bemalte Decken-Balken aus den Vorgänger-Bauten vorhanden; man hatte sie einfach umgedreht. Jetzt sind sie im Fußboden des ersten Obergeschosses, mit Glas abgedeckt, zu sehen. In einigen Räumen wurden Stuckdecken freigelegt, jedoch viele Verzierungen, Wand- und Deckenmalereien usw. sind noch überstrichen oder unter Putz verborgen und warten darauf, freigelegt zu werden.
Von der Innenausstattung des Schlosses ist derzeit nicht viel zu sehen, denn spätere Bewohner haben Wände überstrichen und Decken verkleidet oder gar den alten Schmuck entfernt. Lediglich in der Eingangshalle und in den Sälen 9 und 12 im Erdgeschoss hat man den italienischen Stuck freigelegt.
Im 1. Obergeschoss befindet sich im Raum 109 das "Eleonorenzimmer", ein Audienzsaal in dem Eleonore Desmier d`Olbreuse Gesprächskreise und Gottesdienste für eine kleine hugenottische Gemeinde abhielt. Dieser Raum ist noch in altem Glanz erhalten.
In Verhandlungszimmer Saal 12 hängt hinter dem Richterstuhl das Gemälde "Gogericht" des Malers Ferdinand Martin Cordt Brütt.
In den Nischen des an die Eingangshalle anschließenden Flures im Erdgeschoss standen früher Standbilder der Billunger als Vorfahren der Lüneburger Herzöge.
Nachdem die Herzogin 1717 beschloss, ihren Lebensabend in der Nähe ihrer verbannten Tochter zu verbringen, stand das Schloss einige Jahre leer, wurde gelegentlich als Unterkunft für fürstliche oder herzogliche Gäste genutzt. Danach wurde es immer wieder umfunktioniert.
So wohnte der französische Marschall Richelieu eine Weile hier, Ende des 18. Jahrhunderts stationierte Napoleon Soldaten im Schloss, in den 1830er Jahren wohnte König Ernst August von Hannover hier, 1866 gelangte es in den Besitz der preußischen Krone und diente als Kaserne. Nach dem ersten Weltkrieg waren hier diverse Ämter untergebracht, in den Nebengebäuden befanden sich Werkstadt und Garagen der städtischen Verkehrsbetriebe.
1925 übernahm die Justizverwaltung das Schloss und richtete das Landgericht und das Amtsgericht hier ein. Es wurde noch ein großer Flügel angebaut für die Staatsanwaltschaft. Mittlerweile ist das Amtsgericht in ein eigenes Haus umgezogen.