Du château-fort primitif ayant fait partie du système défensif du bourg au Moyen-Age, il ne reste probablement que quelques vestiges. Le manoir actuel a subi au cours des siècles des destructions et des extensions.
La tour d’angle est du XVème siècle. En 1628, Georges Joussebert, seigneur de la Jarrie, est accusé d’avoir fourni des munitions aux protestants bloqués dans le château de la Chaume, par l’armée royale. Il est pendu et ses biens confisqués
Le domaine de la Jarrie est acheté par François Jannet, sieur de la Bauduère, dont la famille restera propriétaire jusqu’en 1891. En 2005, la commune d’Olonne su Mer en fait l’acquisition.

Si vous souhaitez faire une halte arrêtez-vous dans le Parc de la Jarrie.
Il y a également un espace d’aire de jeux pour les enfants et des tables de pique-nique