Een kleine nederzetting op de oeverwallen van het stroompje 'de Dusse' groeide uit tot een ambachtsheerlijkheid waar, in 1393, het toenmalig 'versterckt huys' (in de vorm van een woontoren van 4 verdiepingen; een zogeheten 'Donjon') door Arend II van der Dussen tot kasteel werd verbouwd. De kelders, die gedeeltelijk toegankelijk zijn en te bezichtigen tijdens de rondleiding, zijn uit deze tijd overgebleven.

De Elisabethsvloed van 1421 maakte het trotse, pas 30 jaar oude kasteel tot een ruine. De muren die waren blijven staan werden afgebroken door teruggekeerde bewoners van de streek om hun huizen weer mee op te bouwen. In 1456 begon Floris 1 en later zijn zoon Jan V van der Dussen met de wederopbouw van het kasteel. De toegangspoort en de onderste ronde gedeeltes van de torens zijn nog restanten van voor deze wederopbouw.

Nadat het kasteel door de Spanjaarden in zeer slechte toestand werd verlaten kocht Baron Walraven van Gent het kasteel van Anna van Brecht (dochter van Cornelia van der Dussen). De bouw van Toscaanse zuilengang op de binnenplaats is een van de vele werkzaamheden, die door de Baron zijn uitgevoerd. Het jaartal 1609 op de gevelsteen boven de deur is een stille getuige van het met smaak uitgevoerde werk.
Helaas voor de baron waren de aankoopsom (40.000,=) en de kosten van de verbouwing teveel en moest hij het kasteel verkopen aan de familie van Axel.

Nadat ook de Fransen het kasteel flink hadden beschadigd was het de fam. Van der Schueren (via nalatenschap) die het kasteel gingen bewonen en bij hun herstelwerkzaamheden o.a. de bovenverdieping hebben gebouwd.

Door huwelijken ging het kasteel over van de familie Coutte en De Croix naar de Belgische, adellijke familie d'Ursel.

Nadat de familie d'Ursel het aanwezige meubilair, boekenbezit en het archief naar Brussel meenamen, boden ze in 1901 het kasteel aan als verblijfplaats voor 24 uit Frankrijk verlaagde Carmelitessen. Op wens van de zusters werd er aan de oostzijde een kapel, boven het water gebouwd met een loopbrug over de gracht. In 1920 keerden de zusters terug naar Frankrijk en heeft het kasteel 4 jaar leeg gestaan.

In 1924 wordt het kasteel verkocht aan de familie Suringar.
Een excentriek lid van de familie werd bewoonster van het kasteel. Deze Rolina Suringar liet zich 's nachts bewaken door 6 mannen uit het dorp, die voor dat doel de nacht op de galerij doorbrachten. Anton Coolen vond in haar leven inspiratie voor zijn boek :"de vrouw met de zes slapers". Na de plotselinge dood van Rolina wordt het kasteel aangekocht in 1935 door de gemeente Dussen voor

fl. 15.000,=. Van 1954 tot en met 1997 (herindeling) was het kasteel gemeentehuis.

Momenteel is NV Monumenten Fonds Brabant de eigenaar van het Kasteel.

Tearoom Rose Garden biedt u een high tea op een afgesproken plaats en tijd. Met een high  tea combineert u al het goede dat het leven te bieden heeft:
heerlijk eten, verfrissende dranken, een prachtige omgeving en een informele sfeer.