Au Moyen-Âge, la Mortière est une maison faisant partie du système défensif du bourg.
La tour-porche a été ajoutée ou reconstruite au XVIe siècle et les bâtiments remaniés au XVIIe siècle.
Jacques Martin, capitaine du service du roi, sauve la vie de Louis XIII pendant le siège de la Rochelle en 1628, en s’interposant entre le roi et un boulet de canon. Pour le remercier, le roi l’anoblit, et lui aurait donné ce manoir, demeuré possession familiale jusqu’en 1953.
La coquille, élément décoratif sur l’angle de la façade, indiquerait que ce manoir fut un relais des pèlerinages de Saint-Jacques-de-Compostelle.