Le château constitue la résidence de la chanteuse et meneuse de revue Joséphine Baker et de son mari Jo Bouillon qui le louent à partir de 1937 et l'achètent dix ans plus tard.
C'est à cette époque que sont installés l'eau courante, l'électricité et un système de chauffage central. Elle y développera un complexe touristique avant-gardiste, baptisé « Village du Monde », et y vivra avec ses douze enfants adoptés de neuf nationalités différentes qu'elle surnomme sa « Tribu Arc en Ciel ».
En 1964, suite à des problèmes financiers, la mise en vente aux enchères du château est annoncée. Malgré un répit grâce à l'intervention de Brigitte Bardot qui lance un appel aux Français et le refus par Joséphine Baker de l'offre de Gilbert Trigano, le château est finalement vendu pour un dixième de sa valeur en 1968.
Faisant jouer la loi française, elle obtient néanmoins un sursis qui lui permet de rester au château jusqu'au 15 mars 1969. Cependant, alors qu'elle est en tournée, elle apprend que le nouveau propriétaire a investi les lieux. Elle s'y oppose et investit seule la cuisine dans laquelle elle se barricade, ses enfants étant confiés à sa sœur.
Profitant d'une de ses sorties de la pièce pour aller chercher de l'eau, les ouvriers, qui ont pour consigne de la faire partir du château, referment la porte derrière elle. Elle passe la nuit devant la porte et doit être transportée à l'hôpital le lendemain. Cet évènement tourne en faveur de Joséphine Baker qui obtient finalement une autorisation de réintégration dans la cuisine par la justice.
L'« après » Joséphine Baker
Depuis Joséphine Baker, quatre familles se sont succédé au château. Les terrasses, façades et toitures du château sont inscrites au titre des monuments historiques en 1986.
Depuis 2001, le château accueille une exposition sur Joséphine Baker et des travaux de restauration sont effectués. En 2009, le château, son chai, son jardin à la française et les anciennes écuries sont inscrits en totalité au titre des monuments historiques.
Une terrasse sert d'assise au château, corps de logis flanqué de deux tours rondes. Un donjon carré est plaqué sur la façade sud. Des constructions plus récentes ont été insérées dans les décrochements du plan primitif (terrasse à l'angle sud-ouest, bâtiment de l'aile orientale).
La façade nord a conservé son aspect d'origine. La façade sud a subi des transformations : remodelage des parties supérieures du donjon ; nouveau décor sculpté des lucarnes et des balustrades des terrasses et représentations fantastiques.
Autour du château, les niveaux des jardins sont étayés de murs à contreforts avec des escaliers monumentaux. Au fond du parc se trouve la chapelle. L'intérieur a été réaménagé par Joséphine Baker (voûte à liernes et tiercerons de l'escalier du donjon ; salles de bain et cabinets d'aisance décorés dans le style 1950, avec carreaux de marbre noir ou rose rehaussés à la feuille d'or...).
Propriété d'une société privée.Le château, le chai et les anciennes écuries ainsi que l'ensemble du parc des Milandes, en totalité (cad. AB 192 à 194, 196) : inscription au Monument Historique par arrêté du 7 décembre 2009.