Le château ou repaire de Goudou est attesté au XVe siècle et relevait de la châtellenie de Berbiguières. Il est alors tenu par la famille de Goudou, qui possède également le repaire du Drotz situé à proximité mais qui a disparu. Sa position dominant la Dordogne permettait de contrôler le passage. Au XVIe siècle, les Massaut succèdent aux Goudou par mariage. Les propriétaires actuels, les Brondeau d’Urtières et Flaugeac, ont acheté le château en 1900.
A l’intérieur du château, une cave permettait de passer d’une tour à l’autre sans avoir besoin de sortir. Plusieurs modifications architecturales ont été apportées au cours des siècles.
La colline du domaine de Goudou était entièrement plantée de vignes qui s’étageaient sur des terrasses bordées de murets de pierre.