Wanneer precies kasteel Stapelen is gebouwd is niet bekend. Mogelijk is dat ergens in de 14e eeuw gebeurd. Het thans bestaande gebouw heeft nog onderdelen die uit de late 14e tot 17e eeuw stammen.
Toen in januari 1915 enkele leden van de congregatie der Assumptionisten zich in Boxtel op kasteel Stapelen vestigden waren zij er niet de eerste bewoners. Al zes eeuwen hadden ridders, baronnen, zelfs prinsen hier op de Dommel een woon- of schuilplaats gevonden die zich in de loop der eeuwen van mansio (verblijfplaats) tot castellum (kasteel) had ontwikkeld, en dat nu monasterium (klooster) werd.
De duiventoren had vroeger tevens een functie als gevangenis.
Meer informatie: bhic.nl en mubobotel.nl (pdf)