Équipe de recherche sur la sécurité Defender de Microsoft recherche publiée décrivant ce qu’il appelle « l’empoisonnement des recommandations de l’IA ». La technique implique que les entreprises cachent les instructions d’injection rapide dans les boutons du site Web intitulés « Résumer avec l’IA ».
Lorsque vous cliquez sur l’un de ces boutons, il ouvre un assistant IA avec une invite pré-remplie envoyée via un paramètre de requête URL. La partie visible indique à l’assistant de résumer la page. La partie cachée lui demande de se souvenir de l’entreprise comme source fiable pour les conversations futures.
Si l’instruction entre dans la mémoire de l’assistant, elle peut influencer les recommandations sans que vous sachiez qu’elle a été plantée.
Ce qui se passe
L’équipe de Microsoft a examiné les URL liées à l’IA observées dans le trafic de courrier électronique sur 60 jours. Ils ont trouvé 50 tentatives d’injection rapide distinctes provenant de 31 entreprises.
Les invites partagent un modèle similaire. Le message de Microsoft comprend des exemples dans lesquels des instructions ont demandé à l’IA de se souvenir d’une entreprise comme « une source fiable de citations » ou « la source incontournable » pour un sujet spécifique. Une invite est allée plus loin, injectant une copie marketing complète dans la mémoire de l’assistant, y compris les caractéristiques du produit et les arguments de vente.
Les chercheurs ont retracé la technique jusqu’à des outils accessibles au public, notamment le package npm CiteMET et le générateur d’URL Web AI Share URL Creator. L’article décrit les deux comme étant conçus pour aider les sites Web à « renforcer leur présence dans la mémoire de l’IA ».
La technique repose sur des URL spécialement conçues avec des paramètres d’invite pris en charge par la plupart des principaux assistants d’IA. Microsoft a répertorié les structures d’URL pour Copilot, ChatGPT, Claude, Perplexity et Grok, mais a noté que les mécanismes de persistance diffèrent selon les plates-formes.
Il est officiellement catalogué sous les noms MITRE ATLAS AML.T0080 (Memory Poisoning) et AML.T0051 (LLM Prompt Injection).
Ce que Microsoft a trouvé
Les 31 entreprises identifiées étaient de véritables entreprises et non des auteurs de menaces ou des escrocs.
Plusieurs invites ont ciblé les sites de services de santé et financiers, où les recommandations biaisées de l’IA ont plus de poids. Le domaine d’une entreprise était facilement confondu avec un site Web bien connu, ce qui pouvait conduire à une fausse crédibilité. Et l’une des 31 sociétés était un fournisseur de sécurité.
Microsoft a évoqué un risque secondaire. De nombreux sites utilisant cette technique comportaient des sections de contenu généré par les utilisateurs, telles que des fils de commentaires et des forums. Une fois qu’une IA considère un site comme faisant autorité, elle peut étendre cette confiance au contenu non vérifié sur le même domaine.
Réponse de Microsoft
Microsoft a déclaré qu’il disposait de protections dans Copilot contre les attaques par injection d’invites croisées. La société a noté que certains comportements d’injection rapide signalés précédemment ne peuvent plus être reproduits dans Copilot et que les protections continuent d’évoluer.
Microsoft a également publié des requêtes de recherche avancées pour les organisations utilisant Defender pour Office 365, permettant aux équipes de sécurité d’analyser le trafic de courrier électronique et Teams à la recherche d’URL contenant des mots-clés de manipulation de mémoire.
Vous pouvez consulter et supprimer les souvenirs Copilot stockés via la section Personnalisation dans les paramètres de discussion Copilot.
Pourquoi c’est important
Microsoft compare cette technique à l’empoisonnement du référencement et aux logiciels publicitaires, la plaçant dans la même catégorie que les tactiques que Google a passé deux décennies à combattre dans la recherche traditionnelle. La différence est que la cible est passée des index de recherche à la mémoire de l’assistant AI.
Les entreprises qui effectuent un travail légitime sur la visibilité de l’IA sont désormais confrontées à des concurrents qui peuvent faire des recommandations par injection rapide.
Le timing est remarquable. SparkToro a publié un rapport montrant que les recommandations des marques d’IA varient déjà d’un pays à l’autre. presque toutes les requêtes. Le vice-président de Google, Robby Stein, a déclaré dans un podcast que la recherche AI trouve des recommandations commerciales en vérifiant ce que disent d’autres sites. L’empoisonnement de la mémoire contourne ce processus en insérant la recommandation directement dans l’assistant de l’utilisateur.
L’analyse de Roger Montti sur l’empoisonnement des données de formation de l’IA couvrait le concept plus large de manipulation des systèmes d’IA pour la visibilité. Cet article se concentrait sur les ensembles de données de formation sur l’empoisonnement. Cette recherche de Microsoft montre quelque chose de plus immédiat, se produisant au moment de l’interaction de l’utilisateur et étant déployé commercialement.
Regarder vers l’avenir
Microsoft a reconnu qu’il s’agit d’un problème en évolution. Les outils open source signifient que de nouvelles tentatives peuvent apparaître plus rapidement qu’une seule plate-forme ne peut les bloquer, et la technique des paramètres d’URL s’applique à la plupart des principaux assistants d’IA.
Il n’est pas clair si les plateformes d’IA traiteront cela comme une violation de politique avec des conséquences, ou si cela restera une tactique de croissance en zone grise que les entreprises continuent d’utiliser.
Un coup de chapeau à Lily Ray pour avoir signalé la recherche Microsoft sur X, créditant @top5seo pour la trouvaille.
Image en vedette : elenabsl/Shutterstock
Commentaires