À l’origine, les vignes de ce quatrième cru classé du Médoc (lors du classement de 1855) servaient à élaborer le second vin de Château Lafite, lorsque ce dernier était dirigé par la famille de Ségur au début du XVIIIe siècle. Au cours des années 1830, la famille Castéja prend possession du vignoble de Mandavy-Milon et des terres du corsaire Duhart pour former une exploitation viticole de 40 hectares, qu’elle renomme par la suite Château Duhart-Milon. Les Castéja restent à la tête du Château Duhart-Milon pendant un siècle, hissant le vin de leur propriété sur les sommets. Lorsqu’ils se défont de leur domaine de Pauillac en 1937, celui-ci compte parmi les plus importants de l’appellation. Mais une certaine instabilité – cinq propriétaires se succèdent en 25 ans – et un manque d’investissements affectent fortement la qualité des vins du cru après le départ des Castéja. Acquis en 1962 par les Domaines Barons de Rothschild, le Château Duhart-Milon a depuis lors refait son retard.