D’Argens lernte die Söhne der württembergischen Herzoginnen-Witwe Maria Auguste von Württemberg (1706-1756) um 1739 in Stuttgart kennen. Da sie ab 1741 am Hofe Friedrichs II. erzogen wurden, hatte er häufiger Kontakt zu ihnen. Im Herbst 1747 hielt d'Argens sich in Begleitung der damals zwischen 14 und 19 Jahre alten Herzöge in Südfrankreich auf und besucht mit ihnen unter anderem seinen Bruder Alexandre-Jean-Baptiste de Boyer in Éguilles unweit Aix-en-Provence. Welche der vier Söhne Maria Augustas d’Argens damals tatsächlich begleiteten, konnte nicht mit Sicherheit rekonstruiert werden.