Het kasteel van Wijchen kent een lange geschiedenis. De eerste versie werd eind 14e eeuw gebouwd; de oudste vermelding stamt uit 1329. Eeuwenlang had het kasteel vooral een verdedigende functie en zag het er heel anders uit dan het statige gebouw dat we vandaag kennen. Ooit was het eigendom van de Heren van Galen, later van de invloedrijke familie Van Bronckhorst, die ook kasteel Batenburg bezat en een belangrijke rol speelde in het hertogdom Gelre.
In de loop van de 16e eeuw raakte het kasteel in verval. Na financiële problemen bij de Bronckhorsten kwam het in handen van Geertruid van Dalem. Zij verkocht het in 1609 aan een vrouw die het kasteel én de regio voorgoed zou veranderen: Emilia van Nassau, dochter van Willem van Oranje, samen met haar man Don Emanuel van Portugal.
Emilia en Emanuel besloten niet te renoveren, maar te vernieuwen. Op de oude fundamenten lieten zij een geheel nieuw kasteel bouwen — het kasteel zoals wij het nu kennen. Hun persoonlijke “handtekening” is nog altijd zichtbaar in de muurankers in de vorm van een dubbele E: Emilia & Emanuel.