Kaštel je podignut radi obrane od Turaka, ali se ne zna tko ga je i kada izgradio. Sabor je 1554. godine donio odluku da žitelji Križevačke županije moraju započeti sa sječom stabala radi utvrđivanja Vrbovca, pa se  pretpostavlja da je utvrda bila drvena. Tvrđavu su 1591. godine kratkotrajno zauzeli i opustošili Turci. Tada je utvrda temeljito obnovljena i više nije bila drvena, iako je možda bila okružena palisadama. O tome svjedoči jedina sačuvana kula od opeke i prikazi utvrde u 18. stoljeću. Bio je to nizinski burg s opkopom za vodu (wasserburg). Nakon što je utvrda uništena u seljačkoj buni 1755. godine, Patačići su na ruševinama podigli novi zidani dvorac iznad jednog krila oštećene utvrde. To je pravokutna jednokatna zgrada koja se sačuvala do današnjih dana. Tijekom vremena većina je ostataka stare utvrde potpuno nestala, a na njezinu povišenom mjestu danas se nalazi park sa župnom crkvom.

U kaštelu je 1621. godine rođen hrvatski ban i mučenik Petar Zrinski. Zato jedinu sačuvanu kulu utvrde zovemo kula Petra Zrinskog. Ona je simbol grada i nalazi se na gradskom grbu.