Au temps des Seigneurs et des châteaux forts
Le château primitif, construit avant 1201 par les Poitiers, comtes de Valentinois, seigneurs d'Etoile, Montoison, Montmeyran et autres lieux, occupait une position stratégique pleine d'intérêt pour ces barons batailleurs. En effet, du haut de ses tours, il était possible de communiquer par signaux optiques avec tous les châteaux alentours. Posé au croisement des routes conduisant de Valence à Die et de Marsanne à Chabeuil, il se trouvait en situation de surveiller efficacement la circulation et de prévenir des intrusions de brigands de troupes hostiles. Les communes d'Allex, Grâne, Etoile, Montmeyran, Upie, Crest et même en Ardèche, Le Pouzin, Baix et Pierregourde, pouvaient être jointes par beau temps. Cette fonction de guetteur avait prévalu dans le choix des dispositions du plan. Dépourvu d'ouvrages défensifs qui caractérisaient les châteaux forts de cette lointaine époque, il fut exposé à de nombreuses agressions du fait de querelles récurrentes entretenues par ces seigneurs vindicatifs et accapareurs, propriétaires ou suzerains de tous les châteaux de la Région.
Un épisode des guerres régionales se situe en 1217 pendant la croisade contre les Albigeois. Les villages de Montoison, Grâne et Allex furent pris, le 14 juillet 1217, par Simon de Monfort venant de Montélimar avec une très forte armée, alors que Aimar II de Poitiers, comte de Valentinois, co-seigneur de Crest, s'était retranché dans la tour avec sa garnison. Le siège dura six mois, durant lesquels la troupe vécut sur le pays. La ville de Crest fut prise, mais pas la tour. Cela, parce que Aimar II s'était déclaré en faveur de Raymond VI, comte de Toulouse, son parent, contre qui était dirigée la croisade. Le siège fut levé en janvier 1218, sans autre résultat que le ravage et la désolation du pays.
Quelques années plus tard, en 1238, la seigneurie de Montoison fut achetée au comte de Valentinois, par les Du Pouzin, Armand et Pierre, son fils, déjà propriétaires d'Ambonil et qui ajoutèrent à leur patronyme celui de Montoison. Les Du Pouzin seigneurs de Montoison habitèrent le château et c'est leur descendante Isabelle de Montoison, fille unique de Guillaume de Montoison et d'Elizen de Pierregourde, qui par son mariage, vers 1350 avec Geoffroy II de Clermont, fit entrer la seigneurie dans la maison des Clermont. La branche des Clermont-Montoison tire son origine de cette union. Leur maison s'éteindra en 1848 au décès, sans enfant, à l'âge de 28 ans, de Philiberte-Cécile de Clermont-Montoison, mariée à son cousin, Gaspard Louis Aimé, duc de Clermont-Tonnerre, officier d'artillerie.
Bien que très inconfortable, le château du Moyen-Age qui ne comportait, à l'époque, qu'un seul corps de bâtiment flanqué de deux grosses tours de guet, à l'est et à l'ouest, fut habité par des familles des seigneurs successifs jusqu'à l'époque de Philibert et des guerres d'Italie, au début du XVIème siècle.