Zur Unterbringung seiner gesammelten Kulturgüter nutzte der Historische Verein seit 1887 den Steintorturm als Vereinsmuseum. Die vom Historischen Verein zusammengetragenen Museumsstücke stellen den Grundstock für die heutigen umfangreichen Sammlungsbestände des Stadtmuseums Brandenburg an der Havel dar.
Die Exponatbestände nahmen im Laufe der Zeit einen Umfang an, der die Aufnahmekapazität des Steintorturmes wesentlich überstieg. Es mussten neue Räumlichkeiten gefunden werden, die sowohl die sachgemäße Lagerung des Museumsgutes als auch die gebührende Präsentation der Zeugnisse aus Brandenburgs Vergangenheit ermöglichten. 1922 ergab sich eine Lösung, als der Besitzer der Blechspielwarenfabrik Ernst Paul Lehmann das Erdgeschoss seines "Frey-Haus" in der Ritterstraße 96 dem Historischen Verein zur Nutzung als Museum überließ.
Die ersten heimatkundlichen Ausstellungen im Frey-Haus eröffnete der Verein unter seinem Vorsitzenden Prof. Otto Tschirch im Jahre 1923. Sie beinhalteten Themen der Vorgeschichte, Kultur- und Kirchengeschichte, Naturkunde, Stadt- und Industriegeschichte.

Die Aufgaben und Forschungsvorhaben des Vereins und des Museums nahmen in den folgenden Jahren zu und überstiegen allmählich die finanziellen Möglichkeiten der Vereinsmitglieder. Durch die beharrlichen Bemühungen Prof. Tschirchs wurde das Museum 1939 mit seinen Beständen der Stadt übereignet, die drei Jahre zuvor schon das vom Museum genutzte Frey-Haus erstanden hatte.

Der Historische Verein in Brandenburg bestand von 1868 bis 1945 und wurde 1991 wieder ins Leben gerufen. Er biete auch heute noch geschichtlich interessierten Brandenburgerinnen und Brandenburgern ein breites Spektrum an Vorträgen sowie im Frühjahr und im Herbst einen Ausflug in die nähere und weitere Umgebung mit Führungen. Im Advent lädt der Verein zum gemütlichen Treffen ein. 
Die Jahreshauptversammlung findet in der Regel im September statt.