Voltaire und d’Argens lernten sich vermutlich 1737 in Amsterdam kennen. Bereits im September des Vorjahres hatte Voltaire brieflich Kontkat zu dem Autor der Lettres juives geknüpft, um sich dafür zu bedanken, dass er ihm in seinem Werk in seiner Auseinandersetzung mit dem Dichter Jean-Baptiste Rousseau zur Seite gestanden war. Im Vorwort zu einer Neuausgabe der Lettres Juives bezeichnet d’Argens 1738 Voltaire als ‚Freund’, welches Epitheton Voltaires Nichte Madame Denis neun Jahre später in einem Brief an Baculard d’Arnaud erneut aufgreift: d’Argens sei ein Freund ihres Onkels. Im Herbst 1747 trafen sich die beiden Schriftsteller mehrmals in Paris. Als Voltaire 1750 nach Potsdam kam, knüpfte er die Beziehung zu d’Argens neu an. Er wurde Nachfolger im Amte des Kammerherren des preußischen Königs, das d’Argens sieben Jahre zuvor übernommen hatte. 1752 bemühten sich die Philosophen gemeinsam um die Etablierung eines aufgrund seiner freigeistigen Ansichten von der Kirche verfolgten Mitarbeiter Diderots, des Abbé de Prades, am preußischen Hof. Nachdem Voltaire Friedrich II. im März 1753 den Rücken gekehrt hatte, blieb er mit d’Argens noch in Kontakt, aber die Beziehung verschlechterte sich, wie aus d’Argens bisweilen ungerechten Äußerungen zu Voltaires weiterem Schaffen zu entnehmen ist. Nicolai berichtet: "D'Argens sagte mit seiner provenzalischen Lebhaftigkeit einst zu mir, von Voltaire: Le B[ougre] a de l'esprit comme trente, mais il est malicieux comme un vieux singe" (Anekdoten von König Friedrich II., 1. Heft S. 22). Eine frühere Verstimmung hatte Friedrich II. mit den Worten kommentiert: "D’Argens est de retour de France, il a eu une prise avec Voltaire, mais c’était le roitelet qui se jouoit avec l’aigle; vous jugez bien qui l’a emporté" (Politische Korrespondenz VIII, 480f). Im März 1769 schrieb Voltaire seinen Discours de l’empereur Julien contre les Chrétiens, angeblich von dem Marquis d’Argens übersetzt. Tatsächlich stammte das Werk fast in Gänze von Voltaire, der d’Argens fünf Jahre zuvor erschienene Julian-Übersetzung Défense du paganisme nebst Kommentar als Steinbruch für ein wesentlich radikaleres Werk benutzt hatte. Anfang 1766 schrieb d'Argens Friedrich II.: "Vor einiger Zeit erhielt ich einen Brief von Voltaire, der mir seine Werke schickte, und nicht unterläßt mir zu sagen: es würde, wenn ich [auf meiner Reise von Eguilles nach Berlin, H.-U. S] über Lyon gehe, schimpflich sein, wenn der Bruder Isaak nicht zum Bruder Voltaire käme; und er wollte gerne noch vor seinem Tode, nach dem Beispiel der Einsiedler Antonius und Paulus, meinen Segen empfangen. Allein ich werde, ohne ausdrückliche Erlaubniß Ewr. Majestät, nicht über Genf reisen; denn alle Einsiedler und Heilige der Wüste vermögen, ohne Ewr. Majestät Befehl, nicht das geringste über mich".
Nach d’Argens Tod schrieb Friedrich II. Voltaire: "Der arme Issak ist abgereist, um seinem Vater Abraham im Paradiese aufzusuchen; sein Bruder d'Eguilles, ein Frömmler, hat ihn zu der Reise mit Ballast versorgt, und man entrichtet ihm Trophäen" (Hinterlassene Werke S. 129).
Die Beziehungen der beiden Schriftsteller wurden eingehend von Raymond Trousson untersucht ("Voltaire et le Marquis d’Argens", in: Studi francesi 10 (1966), S. 226-239).