Eind 14e eeuw werd de eerste versie van het kasteel in Wijchen gebouwd: de eerste vermelding dateert uit 1329. Tot aan de 17e eeuw was het voornamelijk een verdedigingswerk met een ander uiterlijk dan het huidige kasteel. Het kasteel was eerst eigendom van de Heren van Galen.
Jacob van Galen verkocht het kasteel in 1535 aan een van de heren van Bronckhorst, te weten Herman van Bronckhorst. Deze Bronckhorsten waren ook eigenaar van kasteel Batenburg en werden ook wel heren van Batenburg genoemd. Ze speelden in de regio Gelre een belangrijke rol. In de loop van de tijd raakte het kasteel vervallen, waarna in 1595 Geertruid van Dalem het kasteel overnam van de Bronckhorsten na financiële nalatigheid van hun kant.
In 1609 , na ruzie met haar broer Maurits van Nassau om de erfenis van de vader van Willem van Oranje , kochten Emilia van Nassau en haar man, Don Emanuel van Portugal kasteel Wijchen van de weduwe Geertruid van Dalem. Zij bouwden een nieuw kasteel op de oude fundamenten. Het huidige uiterlijk is het ontwerp uit die tijd. Emilia en Emanuel lieten een “handtekening” achter in de muurankers, die de vorm van een dubbele E hebben.
Emilia en haar man hadden tien kinderen. In de laatste jaren van hun huwelijk woonden Emilia en Emanuel gescheiden. Emanuel verkocht zijn rechten aan de Spaanse koning en verhuisde naar Brussel. Emilia kocht het landgoed Prangins nabij Genève, waar zij op 59-jarige leeftijd overleed.