In dem vermutlich im 17. Jahrhundert erbauten „Château de Passis“ starb der Marquis d’Argens am 12. Januar 1771. Das Château liegt in dem gegen Ende des 18. Jahrhunderts ca. 1500 Einwohner zählenden Flecken Lagarde unweit Toulon und war 1748 von d’Argens' Schwager, dem letzten Seigneur de La Garde, für 10000 Francs vom Messire Joseph Charles de Marck-Tripolo-de-Panisse-de-Passis, Seigneur de Lamanon et de Beauveset erworben worden. Der Baron Charles-Joseph-Paul de La Garde verstarb 1767, d’Argens' Schwester Anne Aymare de Boyer lebte bis 1794 in La Garde.
Vier Jahre nach d'Argens' Tod stattete einer seiner Berliner Bekannten, der Schweizer Mathematiker und Astronom Johann Bernoulli im Rahmen einer Südfrankreich-Reise d'Argens' Geburtsstadt Aix-en-Provence und dem Ort, an dem er verstarb, Besuche ab und veröffentlichte seine Eindrücke wenige Jahre später in gedruckter Form: "On voit de plus, à la droite du grand chemin entre Toulon & Hieres, l'ancien château des Barons de la Garde  ; il n'est pas encore ruiné mais il est du moins délaissé par les maîtres ; ils ont bâti au pied de la montagne sur laquelle il est situé, une maison de campagne qu'on nomme St. Michel  ; elle appartient aujourd'hui à la | Veuve du dernier Baron, Dame de beaucoup d'esprit, sœur du feu Marquis d' Argens , & qui en hyver demeure à Toulon, où elle tient une très-bonne maison & où j'en ai reçu beaucoup de politesses." (Lettres sur différens sujets écrites pendant le cours d'un voyage par l'Allemagne, la Suisse, la France méridionale et l'italie en 1774 et 1775 , t. II, pp. 111-112).