L'hôtel de Castries – prononcez Castre – est l’un des plus anciens hôtels construits dans la rue de Varenne. Bâti à partir de 1696 pour Jean Dufour, seigneur de Nogent, conseiller du Roi, il porte alors le nom d’hôtel de Nogent. L’architecte reste inconnu. Entre cour et jardin, l’hôtel comprend un corps central encadré de deux ailes de même hauteur. Deux cours secondaires donnent accès aux cuisines et aux écuries. La décoration est très riche.

En 1708, la veuve de Jean Dufour vend l’hôtel à Joseph-François de La Croix (1663-1728), marquis de Castries et baron de Castelnau. Ce dernier est un brillant militaire, gouverneur de Montpellier et lieutenant du roi en Languedoc. De 1708 à 1714, il entreprend des travaux de consolidation et d’embellissement de l’hôtel ainsi que des travaux d’agrandissement du jardin. Le domaine demeure propriété de la famille de Castries jusqu’à la fin du XIXème siècle. 

1743, l’un des fils du marquis de Castries, Charles-Eugène-Gabriel (1727-1801) décide d’habiter l’hôtel avec son épouse, mademoiselle de Fleury, nièce du cardinal et Premier ministre. Quelques années après l’achat, il y fait faire d’importants travaux. Jacques Verberckt (1704-1771), menuisier et sculpteur sur bois qui a travaillé aux châteaux de Versailles, Choisy ou encore Bellevue, réalise les boiseries intérieures tandis qu’un portail monumental est bâti.

Futur Maréchal de France et ministre de la Marine, Charles-Eugène-Gabriel va durablement marquer l’histoire de l’hôtel dans lequel il va vivre pendant quarante ans. Il s'illustrera sous le règne de Louis XV pendant la Guerre de sept ans et sous le règne de Louis XVI quand, ministre de la Marine, il armera la flotte qui contribuera pour une bonne part à la victoire américaine de 1782.

Son fils Armand-Charles (1756-1842) épouse Marie-Adrienne de Bonnières de Guines en 1778 et le jeune couple s’établit au premier étage de l’hôtel. C’est ici que la mariée prend des leçons de harpe avec le jeune Mozart, qui composera pour elle et son père son concerto pour flûte et harpe. 

Pendant la Révolution française, le 13 novembre 1790, alors qu’une grande partie de la famille s’est réfugiée en Suisse, l’hôtel est saccagé après un duel entre Armand-Charles et un député jacobin. L’ensemble du mobilier est dévasté mais le bâtiment et son décor échappent à la destruction. Déclaré bien national, l’hôtel est dévolu au ministre de la Guerre dès 1793.

La famille de Castries revient dans son hôtel à la Restauration. Le salon de Claire de Maillé, deuxième duchesse de Castries, devient connu, comme la « fleur » du faubourg Saint-Germain. L’écrivain Stendhal notamment fréquente les lieux, et s’en inspire dans son roman Le Rouge et le Noir. Honoré de Balzac passe également à l’hôtel et entretient une liaison avec celle qui lui inspire le personnage d’Antoinette de Langeais dans La Duchesse de Langeais.

De 1842 à 1866, du temps d’Edmond de La Croix (1787-1866), deuxième duc de Castries, d’importants travaux de maçonnerie et de décoration intérieure interviennent sous la houlette de l’architecte suisse Joseph Antoine Froelicher (1790-1866) puis de François-Clément-Joseph Parent (1823-1884), son gendre. Ils confèrent à l’hôtel son aspect actuel, avec son décor néo-Louis XV.

En 1936, le rez-de-chaussée de l’hôtel est loué au comte et à la comtesse de Castellane qui y conservent une très belle collection d’art et jouissent également du jardin.

Propriété de l’Etat depuis 1946, l’hôtel est classé au titre des Monuments historiques depuis 1957. Il a connu diverses affectations en tant que ministère avant d’accueillir depuis 2022 le ministère délégué chargé du Renouveau démocratique et le Porte-Parolat du Gouvernement.