Das zwischen 1406 und 1426 erbaute Bürgerhaus ist eines der ältesten Lüneburgs. Es wurde nach dem damaligen Bauherrn Sülfmeister Dietrich von Brömse benannt. In den folgenden Jahrhunderten wurden etliche bauliche Veränderungen vorgenommen. So wurde der straßenseitige Staffelgiebel wegen Baufälligkeit abgetragen und das neue Dach mit dem Nachbardach über einer Tordurchfahrt vereint. Dadurch entstand die ungleich Schrägung des Daches. Ein späterer Besitzer ließ die Durchfahrt zumauern um im Haus mehr Raum (das Kontor) zu schaffen.
An der rechten Seitenwand des Brömsehauses (in der ehemaligen Tordurchfahrt) sieht man von der Straße aus zwei hohe gotische Bögen. Sie stammen von der nördlichen Seitenschiffswand der 1801/02 abgebrochenen Kirche St. Andreae des Klosters Heiligenthal.
Das ursprünglich gotische Haus verfügt noch heute über eine hochwertige Innenausstattung. In der Diele im Erdgeschoss befinden sich einzigartige Malereien an der noch ursprünglichen Balkendecke. Sie wurden 1937 von Professor Illies restauriert. Eine reich verzierte Barocktreppe führt nach oben. Sie stammt aus einem Nachbarhaus.
Sehr eindrucksvoll ist die figürliche Stuckdecke im Kontor, einem Raum neben der Diele. Sie ist einzigartig in Lüneburg, trägt eine Datierung von 1637 und wird dem Pictor Kaspar Kichler zugeschrieben. Die achteckigen Felder zeigen Gleichnisse und biblische Szenen.
1937 war der Abbruch des sehr baufälligen Hauses schon beschlossene Sache; in letzter Minute konnte der damalige Museumsleiter und Stadtarchivar Professor Reinecke bei einigen Lüneburger Bürgern genügend Geld für die Rettung des Gebäudes sammeln. Zum Dank bekam das große Fenster zur Hofseite bleiverglaste bunte Scheiben mit den Wappen und Namen der Spender. Auf dem Band in der oberen Reihe steht: "Ehrenfenster der Retter dieses Hauses 1937".
1971 übernahm die Stadt Lüneburg das Gebäude vom Museumsverein und stellte es unter Denkmalschutz. Es wurde an die Carl-Schirren-Gesellschaft vermietet und später verkauft.
Heute ist das Brömsehaus Eigentum der "Deutschbaltischen Kulturstiftung" und wird gemeinsam mit dem Institut für Kultur und Geschichte der Deutschen im Osten Europas - kurz Nord-Ost-Institut - für Veranstaltungen wie öffentliche Vorträge, Konzerte und Seminare genutzt. Ehrenamtliche Kräfte betreuen die umfangreichen Bestände des Archivs, der deutschbaltischen Bibliothek und die Sammlungen von Kulturgut. Dafür interessieren sich in zunehmendem Maße auch Wissenschaftler und Studenten aus dem Baltikum.
Im Brömsehaus finden öffentliche Führungen zu vorher bekanntgegebenen Terminen statt.