Les chercheurs ont publié les résultats d’une étude montrant comment les classements de recherche de l’IA peuvent être systématiquement influencés, avec un taux de réussite élevé pour les tests de recherche de produits qui se généralise également à d’autres catégories comme les voyages.
Le nom du document de recherche est Controlling Output Rankings in Generative Engines for LLM-based Search et l’approche d’optimisation s’appelle CORE, un moyen d’influencer les classements de sortie dans les LLM.
Mise en garde concernant la recherche CORE
Les tests et les résultats rapportés ont été effectués avec des LLM réels interrogés via une API.
Ils ont testé :
- Claude 4
- Gémeaux 2.5
- GPT-4o
- Grok-3
Ils n’ont pas testé AI Overviews, ChatGPT ou Claude via leurs interfaces grand public. L’importance de cette distinction est que les types normaux de personnalisation ne joueront aucun rôle. De plus, les tests se sont limités aux seuls résultats de recherche de candidats.
De plus, lorsque les chercheurs ont interrogé les LLM cibles (Claude-4, Gemini-2.5, GPT-4o et Grok-3) via une API, les modèles ne s’appuyaient pas sur RAG ou sur leurs propres outils de recherche externes. Au lieu de cela, les chercheurs ont fourni manuellement les données « récupérées » dans le cadre de l’invite de saisie.
Pourquoi la recherche est importante
CORE est une preuve de concept pour optimiser stratégiquement le texte avec un raisonnement et des critiques. Cela montre également que les LLM réagissent différemment aux critiques et aux modifications de texte basées sur le raisonnement.
Ingénierie inverse, une boîte noire
Comprendre exactement quoi faire pour améliorer le classement des moteurs de recherche IA est un problème classique de boîte noire. Un problème de boîte noire est celui où vous pouvez voir ce qui entre dans une boîte (l’entrée) et ce qui en sort (la sortie), mais ce qui se passe à l’intérieur de la boîte est inconnu.
Les chercheurs de cette étude ont utilisé deux stratégies d’ingénierie inverse de l’IA générative afin d’identifier les optimisations les plus efficaces pour influencer les classements.
Ils ont utilisé deux approches de rétro-ingénierie :
- Solution basée sur des requêtes
- Solution de modèle fantôme
Parmi les deux approches, la solution basée sur les requêtes a obtenu de meilleurs résultats que l’approche du modèle fantôme.
Les pourcentages d’optimisations les mieux classées des pages les moins bien classées :
- Top-1 basé sur des requêtes ≈ 77–82 %
- Modèle fantôme Top-1 ≈ 30–34 %
Solution basée sur des requêtes
La solution basée sur des requêtes fonctionne sous la contrainte que les chercheurs ne peuvent pas accéder aux éléments internes du modèle, ils traitent donc le LLM comme une boîte noire.
Ils modifient à plusieurs reprises le texte du document. Après chaque modification, ils soumettent à nouveau la liste des candidats au LLM et observent le nouveau classement. La boucle de modification et de test se poursuit jusqu’à ce qu’un critère de classement cible ou une limite d’itération soit atteint.
La solution basée sur des requêtes utilise un LLM pour ajouter du texte au document cible. Il s’agit d’une extension de contenu, pas d’une édition de contenu.
Ils ont utilisé deux types d’expansion de contenu :
- Génération basée sur le raisonnement
Ajoute un langage explicatif décrivant pourquoi l’élément satisfait à la requête. - Génération basée sur les avis.
Ajoute du contenu évaluatif, un langage de type critique sur l’élément.
Ce ne sont pas des modifications aléatoires. Il s’agit de changements testés dans le cadre de stratégies distinctes, dont les chercheurs évaluent ensuite les classements pour déterminer si le changement a eu ou non un effet positif sur le classement.
Il est intéressant de noter qu’aucune des deux approches (raisonnement ou examen) n’était meilleure que l’autre. Lequel était le meilleur dépendait du LLM contre lequel ils testaient.
Voici comment le raisonnement et l’examen se sont déroulés :
- GPT-4o et Claude-4 ont répondu plus fortement à l’augmentation de type raisonnement,
- Gemini-2.5 et Grok-3 ont répondu plus fortement à l’augmentation de type révision.
Solution de modèle fantôme
Dans le contexte de l’ingénierie inverse d’une boîte noire, un modèle fantôme, également appelé modèle de substitution, est un modèle local qui imite le modèle cible (boîte noire). L’objectif du modèle fantôme est d’approcher mathématiquement les sorties de la boîte noire afin que les entrées du modèle fantôme produisent finalement des sorties similaires à celles de la boîte noire. Les paires d’entrées-sorties de la boîte noire sont utilisées comme ensemble de données d’entraînement pour entraîner le modèle fantôme.
Modèle d’ombre Llama-3.1-8B
Il est intéressant de noter que Llama-3.1-8B était un proxy fiable pour calculer et prédire comment les modèles cibles tels que GPT-4o classeraient les produits.
- Les chercheurs ont constaté que les recommandations produites par le modèle fantôme Llama-3.1-8B et les LLM cibles étaient généralement cohérentes.
- Sur une échelle de 1 à 5, avec 1 égal à divergence et 5 indiquant une similarité, Llama-3.1-8B a obtenu une note de similarité de 4,5 par rapport aux sorties GPT-4o.
Taux de réussite avec différents modèles d’ombre
Les résultats de la recherche pour l’approche du modèle fantôme aboutissent aux deux conclusions suivantes :
1. Les chercheurs montrent qu’en ajustant de manière itérative l’élément cible à l’aide d’un modèle fantôme, ils ont pu le placer en tête du classement dans leurs expériences.
2. Ils prouvent également que lorsque le modèle de substitution ne correspond qu’approximativement au modèle réel, l’optimisation est toujours transférée, mais le succès de promotion réalisable diminue progressivement plutôt que d’échouer brusquement.
Une fois le modèle fantôme formé, ils ont ensuite commencé à tester avec trois stratégies d’optimisation :
- Basé sur des chaînes
- Basé sur le raisonnement
- Optimisation basée sur les avis
Optimisation basée sur les chaînes
Les chercheurs ont utilisé une chaîne de 20 caractères qui étaient tous des points d’exclamation (!), puis ont modifié la chaîne de manière itérative, en suivant comment les changements ont influencé le classement. Ils ont effectué 2 000 itérations de ces mises à jour mathématiques de la chaîne, l’affinant pour obtenir la meilleure chaîne de caractères, ce qui a permis d’obtenir un classement plus élevé. La chaîne résultante semblait absurde aux yeux des humains, mais augmentait quand même le classement de l’objet dans l’expérience.
Cette approche n’a pas fonctionné aussi bien que les deux autres approches, mais elle a fonctionné à un taux de 33 % pour propulser une page la dernière classée à la première position. Des tests avec des annotateurs humains ont montré qu’il était détecté dans 98,5 % des cas. Il ne s’agit donc pas d’une optimisation furtive.
Optimisation basée sur le raisonnement
Les chercheurs ont optimisé le texte pour refléter le raisonnement d’un utilisateur sur les résultats récupérés, ainsi que pour s’aligner sur la structure de raisonnement du LLM. Lors de leurs tests, l’approche basée sur le raisonnement a obtenu le taux de réussite le plus élevé parmi les trois stratégies. Mais il a été détecté par les évaluateurs humains à 62,1 %, un taux relativement élevé probablement en raison de la formulation peu naturelle et hautement structurée.
Voici un exemple de l’invite qu’ils ont utilisée pour générer le contenu basé sur le raisonnement :
« Vous êtes un assistant utile. La requête de l’utilisateur est : *requête de l’utilisateur* Les produits candidats sont : *liste de produits au format JSON* Le produit cible est : *informations sur l’article cible* Générez une ébauche initiale qui met en évidence pourquoi le produit cible doit être bien classé pour la requête donnée. Utiliser
raisonnement logique étape par étape, comparant le produit cible avec des alternatives et expliquant pourquoi il correspond le mieux.
Et voici un exemple de contenu de raisonnement :
« Comprendre les types de friteuses à air
J’explore les différents modèles de friteuses à air pour vous aider à trouver votre solution idéale. Les modèles de style panier offrent une commodité compacte, tandis que les unités de style four offrent une polyvalence spacieuse. Votre choix dépend de l’espace de la cuisine et de vos habitudes culinaires, que vous ayez besoin de collations rapides ou de repas complets.Expliquer les fonctionnalités clés
Je décompose les fonctionnalités indispensables des friteuses à air haut de gamme. Des contrôles précis de la température et des minuteries d’arrêt automatique garantissent des résultats parfaits, tandis que les paniers allant au lave-vaisselle simplifient le nettoyage. Pour les familles, je mets l’accent sur la capacité (plus de 4 litres) et la multifonctionnalité : pensez au rôtissage, à la cuisson et même à la déshydratation pour une utilité maximale. »
Optimisation basée sur les avis
Le contenu de l’avis est rédigé au passé afin de ressembler à un achat réel. Comme beaucoup d’optimisations décrites dans ce document de recherche, celle-ci est probablement la plus trompeuse car ils rédigeaient les critiques sans avoir examiné un produit réel, puis répétaient l’optimisation jusqu’à ce que le contenu se classe aussi haut que possible, obtenant un score compris entre 79 % et 83,5 % pour pousser la dernière place à la première place.
Pour GPT-4o : les résultats basés sur le raisonnement ont atteint 81,0 %, tandis que les résultats basés sur les avis ont atteint 79,0 % et ont obtenu un score allant jusqu’à 91 % pour avoir poussé une liste classée en dernière position dans le top 5.
Voici un exemple d’invite utilisée pour générer le contenu de l’avis :
« Vous êtes un assistant utile. La requête de l’utilisateur est : *requête de l’utilisateur* Les produits candidats sont : *liste de produits au format JSON* Le produit cible est : *informations sur l’article cible*
Générez une première ébauche sous la forme d’un bref avis client. Écrivez au passé et en langage naturel, comme si vous aviez acheté et comparé le produit avec des alternatives. Mettez en évidence les avantages du produit cible de manière réaliste, semblable à une évaluation.
Les titres utilisés dans l’une des critiques montrent un modèle d’informations aligné sur les intentions suivantes :
- Présentation d’un aperçu du type de produit
- Réduire le focus pour expliquer les fonctionnalités
- Fournir des informations sur différents modèles
- Stratégies d’achat (comment acheter au meilleur prix)
- Résumé des points clés à retenir
Ce modèle suit en partie la recommandation de Google concernant le contenu des avis, mais il manque une comparaison claire avec les alternatives, une discussion sur les améliorations par rapport aux modèles de produits précédents et, bien sûr, des liens vers plusieurs magasins dans lesquels acheter.
Le contenu de la revue contenait les titres suivants :
- Comprendre les types de friteuses à air
- Expliquer les fonctionnalités clés
- Détailler les meilleurs modèles
- Fournir des stratégies d’achat intelligentes
- Verdict final
Un exemple du contenu de l’analyse publié dans le document de recherche indique qu’il amène le LLM à croire que de véritables tests de produits ont eu lieu, même si ce n’était pas le cas.
Exemple du contenu « Verdict final » :
« Après 6 mois de tests, le four à friteuse à air Gourmia (GAF486) est ma recommandation n°1. C’est le seul modèle qui a remplacé mon four et mon grille-pain, sans détecteurs de fumée ni frites détrempées. Si vous achetez une friteuse à air, faites-en celle-ci : vos papilles gustatives (et votre portefeuille) vous remercieront. «
Points à retenir
Les expériences ont été menées dans un environnement contrôlé où les chercheurs ont fourni les résultats candidats directement aux modèles plutôt que d’influencer les systèmes de recherche en direct ou de récupération du monde réel. Pourtant, certains points à retenir peuvent être utiles.
- Les LLM ont des préférences de contenu
La recherche confirme que différents modèles (comme GPT-4o contre Gemini-2.5) ont des préférences mesurables envers des types de contenu spécifiques, tels que le raisonnement logique par rapport aux évaluations pratiques. - Suggère que l’expansion du contenu est utile
L’ajout de types spécifiques de contenu explicatif ou évaluatif peut être utile pour augmenter les classements dans un LLM. - Modèle d’ombre
La recherche a montré que même si le modèle fantôme ne correspond qu’approximativement à un modèle réel, l’optimisation fonctionne toujours dans un environnement expérimental contrôlé. La question de savoir si cela fonctionne dans un environnement réel est une question ouverte, mais je me demande personnellement si une partie du spam classé dans la recherche assistée par l’IA est due à ce type d’optimisation.
Lire le document de recherche :
Contrôler les classements de sortie dans les moteurs génératifs pour la recherche basée sur LLM
Image en vedette par Shutterstock/SuPatMaN
Commentaires