Le nom du château rappelle à la fois l’ancien « plessis » (enceinte de pieux de bois entrelacés de branches) entourant une demeure noble également en bois dans le Haut Moyen Age et celui de la famille de Fortia, d’ancienne noblesse chevaleresque catalane qui faisait remonter ses origines à deux frères, ayant participé à la conquête de la Provence par Raymond-Bérenger IV, comte de Barcelone au XIIe siècle.
De l’un d’eux est issu Bernard Ier, père de Bernard II et de Sibille, reine d’Aragon par son mariage en 1381, avec Pedro IV d’Aragon. A la mort de celui-ci, les Fortia sont disgraciés et fuient en France. Ils se fixent d’abord en Languedoc où Jean II, petit-fils de Bernard II, épouse Françoise de Montpellier en 1448. Son fils, Marc-Antoine, marié à Yolande de Benet ou de Benoît en 1473, est le père de Bernard III, fixé à Tours, et de Jean III, installé à Avignon où il fonde la branche provençale des Fortia, eux-mêmes divisés en seigneurs d’Urban, de Piles et de Montréal. Un jeune Fortia de Piles tua le fils unique du poète Malherbe en duel vers 1620, sans être puni.
Bernard III, seigneur de Paradis, né en 1475, consolida sa fortune en épousant en 1501 la riche Jeanne Miron, fille et sœur de deux illustres médecins du roi de France. En 1566, Jeanne achète à Jean de Champagne la seigneurie de Cléreau près de Vendôme, une terre relevant de la seigneurie du Plessis-Fromentières. Cette dernière famille, propriétaire du Plessis depuis le début du XVe siècle, était tombée en quenouille, et Anne de Fromentières avait apporté en dot le Plessis à Pierre de Champagne, fort grand seigneur, dont le fils Jean de Champagne (nommé plus haut) sera l’époux d’Anne de Laval-Boisdauphin (une branche cadette des Montmorency). Anne avait une sœur cadette, Jeanne de Fromentières, mariée à Jacques de Ronsard, seigneur des Roches et de La Denisière, parent du célèbre poète.
Il n’existe toujours aucun château sur la seigneurie du Plessis, d’une superficie considérable, comprenant les deux villages d’Huisseau et de Saint-Amand, un nombre élevé de fermes et de métairies (non recensées à ce jour), et des droits féodaux sur plusieurs plus petites seigneuries (dont le Cléreau), le Plessis lui-même relevant directement du comté, puis duché de Vendôme.
Le 8 avril 1599, Philippes ou Philippine de Champagne et de Châteaubriand, veuve de Gilbert de Puy du Fou, petite-fille de Jean et d’Anne de Laval-Boisdauphin, vend à « noble & saige Messire Maistre Bernard de Fortia, Conseiller du Roy... en sa Cour de Parlement » (voir reproduction de l’acte notarié), la seigneurie du Plessis. Ce Bernard V, fils de Bernard IV, est déjà seigneur du Cléreau, hérité de son aïeule Jeanne Miron. Reçu au Parlement de Paris en 1585, il convole en 1586 avec Marguerite Leclerc, fille d’un Secrétaire de la Chambre du Roi. Vers 1610, il commence la construction du château actuel, de pierre blanche et de briques comme la célèbre cour des Vosges à Paris. On ne sait pourquoi, les travaux sont interrompus vers 1625. En 1629, Bernard V décède, laissant le Plessis à son fils François, haut magistrat comme lui, époux d’Anne de La Barre, originaire de l’Ile-de-France. François meurt deux ans après son père. Il a un fils mineur, Bernard VI. Anne de La Barre décide de reprendre et de terminer la construction. C’est chose faite en 1633, où elle signe un contrat avec « Jehan Foy, maître maçon à Paris, demeurant à Montmorency », donc près du château de La Barre. Il est probable que les travaux prirent fin en 1638, date inscrite sur une lucarne du pavillon ouest, avec les initiales « BF » (Bernard VI de Fortia, 1623-1694).
A ce moment, la seigneurie, comme le château, prennent le nom de « Plessis-Fortia ». En 1642, Bernard VI se marie avec Marguerite Le Mairat, d’une autre grande famille de magistrats. Il est seigneur du Plessis, du Cléreau, de Fontenaille, baron de Nouant et cumule les postes de conseiller dans divers Parlements. Il aura deux fils, dont l’aîné, Jacques, se marie, mais meurt sans descendance en 1726, laissant le Plessis à son frère puîné, l’abbé Anne-Bernard de Fortia, dernier de la branche tourangelle.
De son vivant, l’abbé Anne-Bernard vend sa seigneurie en 1728 à Charles-Claude-Nicolas Prévost, seigneur de Saint-Cyr, dont le fils, ruiné, doit vendre à l’encan son domaine. Un certain René-Aignan Goury l’achète en 1755 pour 40.000 livres (Archives du château) et fait tracer de nouveaux jardins (évidemment pas par André Le Nôtre comme le veut la tradition locale, ce grand homme étant mort en... 1700). En 1775, le frère de René-Aignan Goury, Charles Jacques, et son neveu Etienne-René-Aignan (de) Sanlot héritent de leur parent. Comblant une partie des douves (aujourd’hui asséchées) iIs font édifier, adossé à la façade-pignon orientale du « grand château », un « petit château » contenant encore certaines parties décorées dans le style Louis XVI, comme l’est aussi le salon d’apparat du « grand château », orné de pilastres et entre ceux-ci, de toiles tendues et peintes de vases et de motifs de fleurs (le tout a été restauré en 2011 par des spécialistes).
Le « petit château » est lui-même séparé d’une annexe par une « tour de l’Horloge ». Cette annexe (abritant aujourd’hui des garages) possède une magnifique toiture « à la Philibert de L’Orme », restaurée récemment, également. Elle doit être transformée en salle de réceptions. A toutes ces nouvelles constructions s’ajoute à la fin du XVIIIe siècle un bâtiment de communs, renfermant des appartements d’amis et de jardiniers, la centrale de chauffage au gaz pour tous les bâtiments, et des stalles pour des chevaux de selle.
En outre, construits à des époques inconnues, une grande ferme non encore rénovée, une vaste grange et un chenil complètent les dépendances.
Durant la Terreur, en 1792, Goury et Sanlot vendent le domaine et le château à Michel Foucault et à son épouse Marie-Elizabeth Le Ray de Chaumont, sœur du propriétaire du château de Chaumont, jadis échangé par Catherine de Médicis à Diane de Poitiers contre Chenonceau. Foucault meurt en 1834, laissant le Plessis à sa belle-sœur Thérèse-Elizabeth de Ray. Celle-ci le lègue en 1845 à son petit-neveu, le comte Charles de Gouvello de Keriaval.
En 1913, une héritière de ce dernier vend le tout à des aristocrates belges, les van den Broek d’Obrenan, dont la deuxième génération participe à la Résistance pendant la Seconde Guerre mondiale. Le couple de propriétaires est arrêté par les Allemands et envoyé en camp de concentration. Ils ne reviendront pas vivants. Leur héritier vend, pièce de terrain par pièce de terrain, le domaine passant de 500 à 40 hectares.
Ensuite, le château passe par plusieurs mains, se délabre, avant d’être racheté en 2010 par une famille qui entreprend une véritable reconstruction de l’intérieur pour y installer le confort moderne dans le respect du cadre d’autrefois. En même temps que la réfection complète des toitures, classées comme les façades à l’ISMH, toutes les fenêtres des deux châteaux sont (par exemple) remplacées par des neuves, dans des cadres neufs.
Un portail « à l’ancienne » a remplacé les deux pilastres de briques, auparavant placés au ras de la route nationale. Le promeneur peut maintenant entrevoir la façade du grand château à un demi-kilomètre de distance, au bout d’une allée d’honneur formée d’une double rangée de platanes.