Het kasteel is gebouwd op de restanten van vorige kastelen. Het eerste kasteel was Alde Huys dat is gebouwd rond 1300. Dit is waarschijnlijk verwoest bij een beleg om Venlo. Het tweede kasteel is Huys op den Kamp dat rond 1498 werd gebouwd op de plek van het huidige kasteel. Tussen1511 en 1522 is het volgende kasteel, het Nye huis, bovenop Huys op den Kamp gebouwd.In de 80-jarige oorlog werd Nye huis volledig verwoest, dit was rond 1646.  Het huidige kasteel, Kasteel Arcen, wordt tussen 1661 en 1664 uitgebouwd in fases.

De zolder van de poorttoren was oorspronkelijk ingericht als duivenzolder. Langs alle vier de wanden waren in totaal zo’n 300 duivenhokjes opgemetseld. De zolder werd tijdens het herstellen van de oorlogsschade geconsolideerd, maar stortte in 1955 alsnog in, waarbij de bakstenen door de twee onderliggende bouwlagen stortte. Van de hokken is één foto bewaard gebleven (beeldbank RCE). De duiven konden via de nog aanwezige vensteropeningen in de zijgevels van de toren naar buiten vliegen. Oorspronkelijk zat ter plekke van de houten luiken, een maaswerk van in baksteen opgetrokken kleine vluchtgaten.

Meer informatie: kasteeltuinen.nl