Zamek murowany w miejscu tym wzniesiony został prawdopodobnie w latach 40-tych XIV wieku przez Kazimierza Wielkiego. Składał się z domu głównego, murów obronnych, budynku bramnego, głównej wieży, stajni i innych drewnianych zabudowań gospodarczych. Przez lata swojego istnienia był miejscem odwiedzin licznych polskich władców, to tu również podejmowane były kluczowe dla losów kraju decyzje polityczne. W XV wieku zamek w Brześciu Kujawskim był liczącą się w skali państwowej warownią. Kazimierz Wielki bywał w nim 12-to krotnie w latach 1341-1364, 27 razy przebywał tu Władysław Jagiełło. To tu organizowane były zjazdy brzeskie oraz zawarty został z Krzyżakami pokój brzeski (31 grudnia 1435 roku). Zamek w tej formie przetrwał przez około 300-lat i przechodził rozbudowy przez swoich kolejnych właścicieli. Jedną z nich była renowacja wykonana w XVI wieku za czasów Sebastiana Mieleckiego herbu Gryf, starosty brzeskiego, który nadał mu renesansowy kształt. Okres wojen szwedzkich (1655-1660) był zgubny dla zamku i całego miasteczka, przeistaczając go w ruinę, którą był przez kolejne 150-lat. Około 1800 roku pozostałości domu głównego zamku rozebrali prusacy do fundamentów na których wybudowali z pozyskanego materiału „Dom Kary i Poprawy”, zwany również "Domem Badań" tj. więzienie okolone murem i budynkami pomocniczymi, które przetrwało do 1916 roku mające sławę ciężkiego więzienia w skali całej Kongresówki. W 1918 roku gmach więzienia przekazano na cele szkolne, w 1919 roku przeprowadzono jego remont a następnie uruchomiono Szkołę Powszechną im. króla Władysława Łokietka, która funkcjonowała tu do roku 1987.
