Au moyen âge, un château fort se dresse déjà sur le site dont la position élevée lui permet de jouer un rôle défensif auprès d’une petite communauté villageoise. Il sert de lieu d’abri en des temps où guerres, rapines et épidémies sont fréquentes. Les moines sont les premiers propriétaires connus, puis est rattaché au Prieur du monastère de la Daurade, à Toulouse.

Le fort, ses terres et ses dépendances sont cédés à François de Seguier, seigneur de la Gravière et sénéchal du Quercy.

Au cours des guerres de religion, la seigneurie de Villaudric apparaît comme une place forte catholique, non loin de la ville protestante de Montauban. Le cardinal de Richelieu s’arrêta à deux reprises au château, en 1629, la veille de son passage à Montauban où il y ordonna la destruction des fortifications et le lendemain. Le travail accompli, il revient se reposer au château avant de regagner Paris. .

A la fin du XVIème siècle le château est incendié lors des guerres de religions. Dès le début du XVIIe siècle, il est reconstruit sur les caves médiévales ayant échappées au sinistre. Sa reconstruction n’obéit plus désormais aux impératifs de défense. L’architecture correspond plus à un lieu d’habitation d’une famille noble plutôt qu’à un lieu de refuge pour une communauté.
Le bâtiment actuel remonte pour l’essentiel à la fin du XVIIème et au XVIIIème siècles (les deux ailes latérales sont plus tardives : 1824). .

Par le jeu de mariages et d’héritage, plusieurs propriétaires se succèdent : après les seigneurs de Seguier, la famille de Paucy (1713) puis le marquis de la Valette Percin de Montgaillard.

Un autre illustre visiteur est accueilli également au château. En juillet 1808, l’empereur Napoléon 1er séjourne plusieurs jours comme en témoigne l’argenterie frappée à son effigie.
Le château est acheté par le comte de Villèle en 1830. Ministre de Louis XVIII et de Charles X, Joseph comte de Villèle, est l’un des hommes marquants de la Restauration. Il joue également un rôle politique de tout premier plan à Toulouse, dont il été le Maire, et dans ses environs.
Le 20 Août 1944, les habitants de Villaudric se cachent une fois encore dans les caves afin d’échapper à la menace allemande.
Villaudric est accordé en dot à sa fille Henriette de Villèle. Par alliance et héritage, le château devient la propriété successive des familles de Pons et d’Argoubet. Il appartient à cette dernière depuis 7 générations.