Le Pavillon d'Amour, situé place du Pont à Neuville-sur-Oise, est inscrit à l'inventaire supplémentaire des Monuments Historiques depuis le 16 octobre 1952. Sa qualité architecturale le situe témoin d'une époque où, dans l'histoire des jardins, se comptent les pavillons d'amour, de chasse, les hermitages et autres belvédères.
Il est difficile de ne pas évoquer au préalable l'histoire des jardins dont le Pavillon d'Amour est un élément constitutif.
Depuis les légendaires jardins de la Mésopotamie et ceux, fameux, de Babylone qui remontent au IIIème millénaire avant Jésus Christ, jusqu'à l'Egypte où de hauts personnages firent peindre des fresques de leur jardin sur les murs de leur tombe, en passant par la culture hellénique et la Perse, c'est toute une tradition qui s'est imposée à l'Europe dans la domestication esthétique de la nature, en vue du seul plaisir des sens.
Succédant aux jardins enclos des monastères du Moyen Âge, le jardin prend une valeur symbolique, celle d'un lieu idéal pour exprimer ses sentiments, composer et chanter des madrigaux et poésies galantes.
A la fin du XVIème siècle, l'influence italienne s'étend à l'Europe du Nord, aux Flandres, à l'Angleterre et à la France.
Architecture et Nature dès lors s'entrelacent, d'où ces créations de folies en treillis recouvertes de grillages, ces pavillons en bois de structure légère et gracieuce, que la fragilité même du matériau rendaient éphémères.
A partir de la fin du XVIIème et surtout au XVIIIème siècle, les pavillons et belvédères seront construits en dur et vont dorénavant s'imposer dans la composition des jardins.
C'est ainsi qu'au XVIIème siècle Charles de la Grange réunit en sa seule main les fiefs de Ham, de la Seigneurie de Neuville et de la Baronie de Conflans. Ce chevallier «Baron de Conflans», Conseiller ordinaire du Roi, Seigneur de Neuville, Ham et autres lieux, entreprit de faire construire vers 1640 une bâtisse avec deux ailes et un corps central, le château tel qu'il nous apparaît aujourd'hui et probablement le Pavillon d'Amour.
De Anne de la Grange en 1654, Marquise de Frontenac, Gouverneur du Canada, au Marquis de Castellane en 1752, Maréchal des Camps et Armées du Roi, chevallier de l'Ordre militaire et royal de St-Louis, Seigneur de Neuville en 1775, au Comte Florimond de Mercy-Argenteau, Ambassadeur d'Autriche en France, qui aimait les fêtes et les chasses mais dont les liens avec l'Autrichienne Marie-Antoinette le rendirent très impopulaire à Neuville, nous pouvons imaginer tout ce qui a pu se passer de galant, d'intime et de politique dans ce Pavillon d'Amour, comme dans beaucoup d'autres.
Lieux de rencontre, d'agrément, d'oisiveté, de recherche de plaisir et d'Amour, ces pavillons ou temples d'amour offrent un vocabulaire ou par excellence se confondent intimement Eros et Jardins.
Hélas, nombre d'entre eux ont disparu dont ne subsistent que des gravures, dessins ou aquarelles et la commune de Neuville-sur-Oise peut, à juste titre, s'enorgueillir de posséder encore un des plus célèbres de ces édifices de charme.
En 1790 la description du lieu était traduite ainsi :
«A l'angle sur le bord de la rivière et près la chaussée qui conduit du bac de Neuville au village, un pavillon à pan coupé construit en pierre avec terrasses, balustrades et perrons, ledit pavillon renferme un petit salon en belvédère. Ce salon est constitué de panneaux pris entre des ordonnances en stuc, et surmonté d'une corniche ornée d'une balustrade peinte en trompe l'oeil dont les dès sont garnies de pots et de guirlandes de fleurs. Le dôme du plafond est peint d'un ciel bleuté agrémenté de nuages transparents et de délicieux oiseaux prêts à chanter l'Amour de ce Pavillon.»