Tijdens de Tachtigjarige Oorlog (De Opstand) was het Genneperhuis bij de monding van de Niers in de Maas een machtige burcht

Het Genneperhuis onder Kleve

In 1424 verpande Jan van Loon Gennep aan Hertog Adolf van Kleve en hij betaalde zijn schuld niet terug. De hertog beschouwde Gennep toen al als zijn bezit. In 1442 kocht Adolf ook het deel van de gebroeders Brederode. Nadat Keizer Frederik III van Duitsland in 1449 de leen van Gennep aan hertog Johan van Kleef bevestigd had, was Gennep definitief bezit van Kleve. De Hertog stelde al in 1431 een drost aan als heerser over Gennep en het Genneperhuis. De eerste drost was Jan van Bylant.
 
Het Genneperhuis onder KleveIn 1438 was Elbert van Alpen de derde drost. De drost had kantoor op het Genneperhuis en woonde in Gennep. Elbert van Alpen heeft een verslag geschreven over het Genneperhuis. De burcht was gebouwd in carré met vier torens en minimaal drie poorten (er was sprake van de middelste poort). Ook was er sprake van een brug, dus moet er een gracht om de burcht geweest zijn. De vier torens waren een woontoren, de Graventoren, een nieuwe toren en de Schardenbergtoren. Er was een grote zaal waarin ook de mis werd opgedragen. Vanuit het wachthuis werd de Maas gecontroleerd. Tevens waren er een tolkantoor, een smidse, een molenhuis, een poorthuis, een bakhuis en een kelder met brouwketel en -kuipen.
In 1455 overleed Elbert van Alpen. Daarna stelde de hertog van Kleef achtereenvolgens drie drosten aan van de familie Van Wylick: Gaedert, Christoffel en Otto.
 
Rond 1500 kwam Kleve onder heerschappij van Karel V. Tussen 1500 en 1520 werd het Genneperhuis versterkt en beter bewapend in verband met de ligging tussen Opper en Neder Gelre. Dit mede om de tol goed te kunnen verdedigen.
Van 1540 tot 1592 stond Kleef onder bestuur van de krachtige Hertog Willem de Rijke. Na zijn dood kwam zoon Johan Willem aan de macht maar hij was een zwak leider en had geen kinderen. Zijn zwagers wilden zich Kleve toe-eigenen. In 1609 verdeelden ze de bezittingen van de hertog en kwam Kleve en dus ook Gennep toe aan de keurvorst van Brandenburg. Maar pas in 1666 viel hierover een definitief besluit.
 
In 1568 begon de Tachtigjarige Oorlog of Opstand als strijd van de Noordelijke Nederlanden of de Staatsen tegen de Zuidelijke Nederlanden onder heerschappij van Spanje. Gennep en het Genneperhuis zouden vele jaren een speelbal zijn van de Spanjaarden en de Staatsen.