In 1654 komt het kasteel in handen van de vierjarige Willem van Oranje, de latere koning-stadhouder Willem III. Aan het begin van de 18de eeuw erfde Frederik II van Pruisen, het landgoed. Hij verkocht zijn geërfde bezit al snel weer aan stadhouder prins Willem V. In 1795 werden de bezittingen van de Oranjes door de Franse bezetter geconfisqueerd.

Generaal in het Oostenrijkse leger, Joseph de Zantis, was in 1815 van de partij toen Napoleon bij de slag om Waterloo door Engeland, Pruisen en Nederland genadeloos in de pan werd gehakt. Hij was een krijgsman in hart en nieren en trok maar wat graag ten strijde. Als dank voor betoonde moed en strategisch inzicht verhief koning Willem I hem in de Nederlandse adelstand. Waarschijnlijk om hem in de Verenigde Nederlanden weg te houden - uit de buurt van Brussel en Den Haag - kreeg Joseph in 1820 twee huizen in Luik en Sint Odiliënberg geschonken. Daarmee stonden de Oranjes hun geliefde jachthuis in de Roerstreek af. De generaal moet een zeer kleurrijk figuur zijn geweest. Tussen twee oorlogen door keerde Joseph even naar Oostenrijk terug om daar kinderen te maken, dertien in totaal.

In 1863 liet Jonkheer De Zantis een woning bouwen, aansluitend aan de oude carréboerderij (voorhof) met Tiendschuur, door de Roermonds bouwmeester P.J.H. Cuypers.
Historische buitenplaats Frymerson is aangemerkt als Rijksmonument. De beschermde onderdelen zijn het landhuis, de parkaanleg, de toren met aanbouw, het hondenhok, het toegangshek aan de oprijlaan, het toegangshek aan de Paarloweg en een dam met pijlers.

De buitenplaats omvat een relatief groot gebied, ten noordoosten van Sint Odiliënberg in het Roerdal aan de zuidelijke oever.