Rond 1350 heeft de toenmalige Heer van Culemborg, Johan II, opdracht gegeven om een kasteel te bouwen aan de oostkant van Culemborg. Dit kasteel had een vijfhoekig grondplan, terwijl de meeste kastelen uit die tijd vierkant of rechthoekig van vorm zijn. Het gebouw bestond uit een grote zaal van ca 23 x 12 meter (de zogenaamde "Hoge Sael") en een binnenplaats met bijgebouwen. De muren van het kasteel zijn 1 tot 3 meter dik geweest. De muren van de Donjon toren waren ca. 4.40 meter dik. Dit is ook wel logisch gezien de functie die deze toren moet hebben gehad in de conflicten met het toenmalige Sticht (Utrecht).
In 1360 moet de Donjon I al deels voltooid zijn geweest; de afbouw zou echter later plaats vinden. In diezelfde tijd werd ook aan de z.o.-zijde van het complex een vierkante woontoren gebouwd. Deze woontoren moet zeker vier verdiepingen hebben geteld en was vermoedelijk het hoogste punt van het hele kasteel

In 1371 wers de Donjon I eindelijk afgebouwd. Deze bouw heeft plaats gevonden onder de supervisie van de bouwmeester van de Utrechtse Dom, Jan van den Doem. Direct daarna werd begonnen met de bouw van de Donjon II. Deze kwam op slechts acht meter van de Donjon I. Dat deze toren zo dicht bij de eerste toren stond had te maken met het feit dat zo beter steun gegeven kon worden aan het voorhof, het zogenaamde Nederhof.
In de periode 1480 - 1504 heeft er aan de westzijde van het gebouw een uitbreiding plaats gevonden.. Dit was een uitbouw met twee traptorentjes en daartussen zalen.

Intussen was Nederland bezet door de Fransen. Zij namen hun intrek in het kasteel met het gevolg dat het kasteel zwaar werd verwaarloosd.Toen de Fransen uiteindelijk werden verdreven wisten zij niets anders te doen dan het kasteel in de brand te steken. De teruggekeerde grafelijke familie liet het kasteel niet meer herstellen maar ging in de stad wonen. Zij lieten hier het leegstaande Mariëncroon verbouwen tot grafelijke woning.
In 1720 is een groot gedeelte van het kasteel gesloopt en rond 1780 zijn tenslotte de Donjon I en het poortgebouw gesloopt