Het goed waarop aan het eind van de 17de eeuw De Voorst verrees, was al sinds de 16de eeuw in het bezit van het Gelderse adellijk geslacht Van Keppel. Arnold Joost van Keppel (1669 - 1718) was een gunsteling van Koning-stadhouder Willem III die hem tot graaf van Albemarle verhief; dankzij finasiele steun van de koning kon hij kort voor 1700 De Voorst bouwen; een paleisachtige buiten verblijf, dat een vergelijkeing met het Loo goed kan doorstaan.
In de 18de en de 19de wisselde De Voorst herhaaldelijk van eigenaar, met onttakeling van het interieur als gevolg.
Ook de de tuinen werden ingrijpend gewijzicht. In 1943 werd het huis door een zware brand getroffen. Het resterende deel van het interieur ging daarbij verloren.
Tegenwoordig word het landgoed gebruikt voor feesten en partijen. Rondom het huis ligt een loofbospark waar u vrij kunt wandelen.