L'Hôtel de Clermont possède un beau et grand jardin ombragé. A l’origine, au XVIIIème siècle, il était cependant beaucoup plus grand puisqu’il couvrait l’actuelle rue Barbet-de-Jouy et se prolongeait jusqu’à la rue de Babylone.

Véritable écrin, il est agrémenté au XVIIIème siècle par le comte d’Orsay, de plus de 200 bustes et statues antiques provenant de ses voyages en Italie. Ces sculptures sont réparties au gré des allées régulières et au milieu des bosquets dans lesquels sont aménagés des "salles". Treillages, volière, verger, fontaine complètent alors l’aménagement de ce jardin.

Après la Révolution, les sculptures sont pour une grande partie versées aux collections du Museum central des arts, futur musée du Louvre. Aujourd’hui, si certaines y sont toujours, d’autres ornent les plus beaux jardins de la capitale comme le jardin des Tuileries ou celui du Luxembourg.

Au lendemain de la Révolution française, en 1797, le jardin semble avoir encore bonne figure comme en témoigne la description élogieuse faite dans le programme des Jeux : « à Paris, il en est peu d’aussi vaste [de jardins], d’aussi agréable et qui réunit à la majesté des dessins de Le Nôtre le charme des jardins champêtres et modernes ».

Le marquis d’Avèze, qui rachète l’hôtel et son jardin décide d’y installer notamment un établissement de Jeux gymniques. L’Antiquité et les héros gréco-romains sont alors des références à la mode. Lutte, courses à pied ou à cheval, lancer de poids, escrime, sont alors pratiqués dans le jardin par les abonnés et leurs professeurs. L’affaire périclite cependant assez rapidement.

Le jardin a pris sa configuration actuelle en 1836. Jacques‑Juste Barbet de Jouy, propriétaire de la fabrique de toiles du même nom (l’ancienne manufacture Oberkampf), crée la rue portant son nom, détruisant au passage l’ancien « petit hôtel » adossé à l’hôtel d’Orsay. Il fait par ailleurs lotir une grande partie du jardin.

Aujourd’hui, les arbres sont implantés essentiellement sur les contours du jardin, plaçant la pelouse centrale dans un écrin de verdure. Dans la périphérie de cette clairière, on trouve quelques arbres remarquables dont un noyer d’Amérique, un aulne, un sophora, un érable argenté et quelques beaux marronniers et charmes qui ombragent une grande partie de la pelouse centrale.

Discret mais non moins intéressant, un copalme d’Amérique pousse à proximité de l’hôtel et l’alignement de frênes Raywood au feuillage automnale flamboyant isole le jardin de la rue Barbet-de-Jouy. Les jardiniers sont venus récemment compléter ce petit arboretum par la plantation d’un magnolia à la floraison rose spectaculaire, d’un parotia de Perse (ou arbre au bois de fer), d’un érable au feuillage étonnant et d’un koelreuteria. Ces plantations sont réalisées dans le cadre du plan de gestion du patrimoine arboré.

L’entretien du jardin se veut durable et responsable, comme pour les autres jardins gérés par les services de la Première Ministre.