Culemborg wordt voor de eerste maal vermeld in twee charters d.d. 4 juli 1281, (Oork. St. Utr. nrs. 2075 en 2076). Het betreft de overeenkomst tussen Hubrecht van Bosinchem, erfschenker van het Sticht en het kapittel van Oudmunster te Utrecht, waarbij Hubrecht van het kapittel een hoeve te 'Kulenburg', waarop zijn kasteel is gesticht, als vrij goed ontvangt in ruil voor anderhalve hoeve in het gerecht Lanxmeer, ten zuiden van de huidige stad Culemborg gelegen.Op 21 november van hetzelfde jaar droeg Hubrecht van Bosinchem het slot, aangeduid met 'castrum dictum Culenburgh', op aan de Graaf van Gelre (Sloet nr. 1039) en ontving het in leen terug. Dit kasteel, dat of door Hubrecht, of door diens gelijknamige vader (gestorven vóór 31 mei 1271) gesticht zal zijn, stond volgens Voet van Oudheusden (blz. 15 en 429) ten westen van de huidige stad bij de voormalige Goilberdingerpoort. In 1314 wordt het kasteel vermeld als: 'het huis te Culenborch met 16 mergenland' (Arch. graven v. Cul. regest 39).De opkomst van Culemborg mag gesteld worden in de decennia rond het jaar 1300.
ngetwijfeld hebben Hubrecht (gestorven 20 maart 1300 of 1301) en diens zoon Jan I (gestorven 29 september 1322), de ontwikkeling van de bij hun kasteel gelegen nederzetting sterk gestimuleerd. Volgens een acte van 1343 (Nijhoff. Gedenkw. I, nr. 399) 'maakten zij die stat van Culenborch'.Op 23 juni 13l0 gaf Jan van Beusichem het patronaatsrecht van de kerk van Culemborg over aan het kapittel van St. Jan te Utrecht (J. W. Berkelbach van de Sprenkel, Regesten Bisschoppen van Utrecht, nr.190). In de betreffende acte wordt vermeld, dat Jan deze kerk (St. Barbara) gebouwd had op eigen grond. Tegelijk met schenking werd de parochie Culemborg afgesplitst van het kerspel Beusichem.

 Op sente nicolausdach' (6 december) 1318 verleende Heer Jan een privilegebrief aan 'de poorters tot Culemborg', die als eerste stadsrecht mag gelden (Voet,blz. 607-617). Op 30 april 1331 ontving Hubrecht (heer van Culemborg 1322-1347), zoon van Jan I, van de Graaf van Gelre het huis in leen,dat hij gebouwd had op de zijde van Culemborg aan de kant van Everdingen (Arch. grav. v. Cul.regest 83).
De plaats van dit huis is thans met zekerheid aan te wijzen aan de westelijke stadsgracht, op het terrein, waarop in de XVIde eeuw het Weeshuis is gesticht (zie Stadsmuren).

Volgens Voet van Oudheusden (blz. 31) brak Jan II (1347-1377, zoon van Hubrecht) het in 1281 vermelde huis af en bouwde omtrent het midden van de veertiende eeuw een nieuw kasteel aan de oostzijde van de stad (zie hierna pag. 153).
Jan II noemde zich heer van Culemborg en van der Leck, ingevolge de belening met de heerlijkheid van der Lek na de dood van zijn moeder Jutte (1351), en vierendeelde zijn wapen: I en IV de drie zuilen en II en III een zwarte leeuw.

Omstreeks 1280 voerden de heren van Bosinchem het wapen Zuilen met verandering van kleur: drie zuilen van keel op gouden veld, in plaats van zilver en geplaatst in het rechter kanton van het wapen van Beusichem. Het tegenwoordige gemeentewapen vertoont de drie zuilen van keel op een gouden veld.Jan II werd opgevolgd door zijn broer Gerard I, die in 1394 overleed. Zijn opvolger, Hubrecht III geraakt in heftige strijd met Gravin Jacoba. Hij stierf kinderloos in 1422 en zijn broer Jan III volgde hem op. In de strijd, voortgekomen uit het Utrechtse schisma, stond Jan aan de zijde van zijn broer Zweder.
In de nacht van 23 februari 1428 trachtte Rudolf van Diepholt de stad te overrompelen en Zweder - die men tevergeefs getracht had te vergiftigen -, in handen te krijgen. De aanslag mislukte en Jan van Buren, proost van Aken en St. Marie, werd door de burgers gevangen genomen en op de visbank op letterlijke wijze aan moten gesneden.