Le nom du château signifie en breton lieu d'asile et provient très probablement des Hospitaliers de l'ordre de Saint-Jean de Jérusalem lorsqu'ils possédaient une partie de la région. La partie gauche de l'édifice date de 1600, la partie droite de 1674. La grosse tour carrée de style anglais est un ajout de 1911. Le château appartenait en 1627 à Valentin de Talhoët et Jeanne Le Lagadec, sieur et dame de Sévérac. Cette terre resta par la suite à cette famille puisque René Armand de Talhoët est propriétaire de ce domaine en 1759. Il est maintenant fréquenté par le descendance de Morice Marchal.