La science de la façon dont l’IA prête attention

Améliorez vos compétences grâce aux informations hebdomadaires d’experts de Growth Memo. Abonnez-vous gratuitement!

Cette semaine, je partage mes résultats de l’analyse de 1,2 million de réponses ChatGPT pour répondre à la question de savoir comment améliorer vos chances d’être cité.

Depuis 20 ans, les référenceurs rédigent des « guides ultimes » conçus pour garder les humains sur la page. Nous écrivons de longues introductions. Nous introduisons des idées tout au long du projet et dans la conclusion. Nous créons du suspense jusqu’au dernier appel à l’action.

Les données montrent que ce style d’écriture n’est pas idéal pour la visibilité de l’IA.

Après avoir analysé 1,2 million de citations ChatGPT vérifiées, j’ai trouvé un modèle si cohérent qu’il a une valeur P de 0,0 : la « rampe de ski ». ChatGPT accorde une attention disproportionnée aux 30 % supérieurs de votre contenu. De plus, j’ai trouvé cinq caractéristiques claires du contenu cité. Pour gagner à l’ère de l’IA, vous devez commencer à écrire comme un journaliste.

1. Quelles sections d’un texte sont les plus susceptibles d’être citées par ChatGPT ?

On ne sait pas grand-chose sur les parties d’un texte citées par les LLM. Nous avons analysé 18 012 citations et trouvé une distribution « rampe de ski ».

1. 44,2 % de toutes les citations proviennent des premiers 30 % du texte (l’intro). L’IA lit comme un journaliste. Il saisit le « Qui, quoi, où » par le haut. Si votre idée clé se trouve dans l’introduction, les chances qu’elle soit citée sont élevées.
2. 31,1% des citations proviennent des 30 à 70% d’un texte (le milieu). Si vous enfouissez les principales caractéristiques de votre produit dans le paragraphe 12 d’un article de 20 paragraphes, l’IA est 2,5 fois moins susceptible de le citer.
3. 24,7% des citations proviennent du dernier tiers d’un article (la conclusion). Cela prouve que l’IA se réveille à la fin (un peu comme les humains). Il ignore le réel pied de page (voir la baisse de 90 à 100 %), mais il adore la section « Résumé » ou « Conclusion » juste avant le pied de page.

Les explications possibles du modèle de rampe de ski sont la formation et l’efficacité :

• Les LLM sont formés au journalisme et aux articles universitaires, qui suivent la structure « BLUF » (Bottom Line Up Front). Le modèle apprend que les informations les plus « pondérées » se trouvent toujours en haut.
• Alors que les modèles modernes peuvent lire jusqu’à 1 million de jetons pour une seule interaction (~ 700 000 à 800 000 mots), leur objectif est d’établir le cadre le plus rapidement possible, puis d’interpréter tout le reste à travers ce cadre.

18 000 citations sur 1,2 million nous donnent toutes les informations dont nous avons besoin. La valeur P de cette analyse est de 0,0, ce qui signifie qu’elle est statistiquement incontestable. J’ai divisé les données en lots (répartitions de validation randomisées) pour démontrer la stabilité des résultats.

• Le lot 1 était légèrement plus plat, mais les lots 2, 3 et 4 sont presque identiques.
• Conclusion : étant donné que les lots 2, 3 et 4 se sont calés sur exactement le même modèle, les données sont stables sur l’ensemble des 1,2 millions de citations.

Bien que ces lots confirment la stabilité au niveau macro de l’endroit où ChatGPT examine un document, ils soulèvent une nouvelle question sur son comportement granulaire : ce biais persistant même dans un seul bloc de texte, ou l’attention de l’IA change-t-elle lorsqu’elle lit plus en profondeur ? Ayant établi que les données sont statistiquement incontestables à grande échelle, j’ai voulu « zoomer » au niveau du paragraphe.

Une analyse approfondie de 1 000 éléments de contenu comportant un grand nombre de citations montre que 53 % des citations proviennent du milieu d’un paragraphe. Seulement 24,5% proviennent de la première phrase et 22,5% de la dernière phrase d’un paragraphe. ChatGPT n’est pas « paresseux » et ne lit que la première phrase de chaque paragraphe. Cela se lit profondément.

Emporter: Vous n’avez pas besoin de forcer la réponse dans la première phrase de chaque paragraphe. ChatGPT recherche la phrase avec le « gain d’informations » le plus élevé (l’utilisation la plus complète des entités pertinentes et des informations additives et étendues), que cette phrase soit la première, la deuxième ou la cinquième du paragraphe. En combinaison avec le modèle de rampe de ski, nous pouvons conclure que les chances de citation les plus élevées proviennent des paragraphes des 20 premiers % de la page.

2. Qu’est-ce qui rend ChatGPT plus susceptible de citer des fragments ?

Nous savons où dans le contenu dont ChatGPT aime citer, mais quelles sont les caractéristiques qui influencent la probabilité de citation ?

L’analyse montre cinq caractéristiques gagnantes :

1. Langue définitive.
2. Structure question-réponse conversationnelle.
3. Richesse des entités.
4. Sentiment équilibré.
5. Une écriture simple.

1. Vs définitif. Langage vague

Les citations gagnantes sont presque 2 fois plus susceptibles (36,2 % contre 20,2 %) de contenir un langage définitif (« est défini comme », « fait référence à »). La citation linguistique ne doit pas nécessairement être une définition textuelle, mais les relations entre les concepts doivent être claires.

Explications possibles de l’impact de l’écriture directe et déclarative :

• Dans une base de données vectorielles, le mot « est » agit comme un pont solide reliant un sujet à sa définition. Lorsqu’un utilisateur demande « Qu’est-ce que X ? » le modèle recherche le chemin vectoriel le plus fort, qui est presque toujours une structure de phrase directe « X est Y ».
• Le modèle essaie de répondre immédiatement à l’utilisateur. Il préfère un texte qui lui permet de résoudre la requête en une seule phrase (Zero-Shot) plutôt que de synthétiser une réponse à partir de cinq paragraphes.

Emporter: Commencez vos articles par une déclaration directe.

• Mauvais : « Dans ce monde en évolution rapide, l’automatisation devient la clé… »
• Bon : « L’automatisation des démos est le processus d’utilisation d’un logiciel pour… »

2. Écriture conversationnelle

Le texte cité est 2 fois plus susceptible (18 % contre 8,9 %) de contenir un point d’interrogation. Lorsque nous parlons d’écriture conversationnelle, nous entendons l’interaction entre les questions et les réponses.

Commencez par la requête de l’utilisateur sous forme de question, puis répondez-y immédiatement. Par exemple:

• Style gagnant : « Qu’est-ce que le référencement programmatique ? C’est… »
• Style de perdant : « Dans cet article, nous aborderons les différentes nuances de… »

78,4 % des citations avec questions proviennent de titres. L’IA traite votre balise H2 comme une invite utilisateur et le paragraphe qui la suit immédiatement comme la réponse générée.

Exemple de structure de perdant :

Exemple de structure gagnante (Les 78%) :

• Quand le référencement a-t-il commencé ?

  (Requête littérale)

• Le référencement a commencé en…

  (Réponse directe)

La raison pour laquelle cet exemple spécifique gagne est à cause de ce que j’appelle « l’écho d’entité » : l’en-tête pose des questions sur le référencement, et le tout premier mot de la réponse est le référencement.

3. Richesse de l’entité

Le texte anglais normal a une « densité d’entité » (c’est-à-dire qu’il contient des noms propres comme des marques, des outils, des personnes) d’environ 5 à 8 %. Les textes fortement cités ont une densité d’entités de 20,6 % !

• Le chiffre de 5 à 8 % est une référence linguistique dérivée de corpus standards comme le Brown Corpus (1 million de mots de texte anglais représentatif) et le Penn Treebank (Journal de Wall Street texte).

Exemple:

• Phrase du perdant : « Il existe de nombreux bons outils pour cette tâche. » (0 % de densité)
• Phrase du gagnant : « Les principaux outils incluent Salesforce, HubSpot et Pipedrive. » (Densité 30%)

Les LLM sont probabilistes. Les conseils génériques (« choisissez un bon outil ») sont risqués et vagues, mais une entité spécifique (« choisissez Salesforce ») est fondée et vérifiable. Le modèle donne la priorité aux phrases qui contiennent des « ancres » (entités) car elles réduisent la perplexité (confusion) de la réponse.

Une phrase avec trois entités contient plus de « bits » d’information qu’une phrase avec 0 entité. Alors n’ayez pas peur du namedropping (oui, même de vos concurrents).

4. Sentiment équilibré

Dans mon analyse, le texte cité a un score de subjectivité équilibré de 0,47. Le score de subjectivité est une mesure standard du traitement du langage naturel (PNL) qui mesure la quantité d’opinion personnelle, d’émotion ou de jugement dans un morceau de texte.

Le score s’étend sur une échelle de 0,0 à 1,0 :

• 0.0 (Pure Objectivité) : Le texte ne contient que des faits vérifiables. Pas d’adjectifs, pas de sentiments. Exemple : « L’iPhone 15 est sorti en septembre 2023. »
• 1.0 (Pure Subjectivité) : Le texte ne contient que des opinions personnelles, des émotions ou des descripteurs intenses. Exemple : « L’iPhone 15 est un chef-d’œuvre absolument époustouflant que j’adore. »

L’IA ne veut pas de texte Wikipédia sec (0,1), ni d’opinions déséquilibrées (0,9). Il veut la « voix d’analyste ». Il préfère les phrases qui expliquent comment un fait s’applique, plutôt que de simplement énoncer la statistique.

Le ton « gagnant » ressemble à ceci (Score ~0,5) : «Bien que l’iPhone 15 soit doté d’une puce A16 standard (fait), ses performances en photographie en basse lumière en font un choix supérieur pour les créateurs de contenu (analyse/opinion).« 

5. Rédaction de qualité commerciale

Rédaction de qualité commerciale (pensez L’économiste ou Revue des affaires de Harvard) obtient plus de citations. Les « gagnants » ont un score Flesch-Kincaid de 16 (niveau collégial) par rapport aux « perdants » de 19,1 (niveau académique/doctorat).

Même pour des sujets complexes, la complexité peut faire mal. Une note de 19e année signifie que les phrases sont longues, sinueuses et remplies de jargon multisyllabique. L’IA préfère les structures simples sujet-verbe-objet avec des phrases courtes à moyennement longues, car il est plus facile d’en extraire des faits.

Conclusion

Le modèle « rampe de ski » quantifie un désalignement entre l’écriture narrative et la recherche d’informations. L’algorithme interprète la lenteur de la révélation comme un manque de confiance. Il donne la priorité à la classification immédiate des entités et des faits.

Le contenu à haute visibilité fonctionne plus comme un briefing structuré que comme une histoire.

Cela impose une « taxe de clarté » à l’écrivain. Les gagnants de cet ensemble de données s’appuient sur un vocabulaire de qualité professionnelle et une densité d’entités élevée, réfutant la théorie selon laquelle l’IA récompense le contenu « abrutissant » (avec des exceptions).

Nous n’écrivons pas seulement des robots… pour le moment. Mais l’écart entre les préférences humaines et les contraintes des machines se réduit. Dans la rédaction commerciale, les humains recherchent des informations. En avançant la conclusion, nous satisfaisons l’architecture de l’algorithme et le manque de temps du lecteur humain.

Méthodologie

Pour comprendre exactement où et pourquoi L’IA cite du contenu, nous avons analysé le code.

Toutes les données de cette recherche proviennent de Gauge.

• Gauge a fourni environ 3 millions de réponses IA de ChatGPT, ainsi que 30 millions de citations. Le contenu Web de chaque URL de citation a été récupéré au moment de la réponse pour fournir une corrélation directe entre le véritable contenu Web et la réponse elle-même. Le HTML brut et le texte brut ont été supprimés.

1. L’ensemble de données

Nous avons commencé avec un univers de 1,2 million de résultats de recherche et de réponses générées par l’IA. De cela, nous avons isolé 18 012 citations vérifiées pour l’analyse positionnelle et 11 022 citations pour l’analyse de « l’ADN linguistique ».

• Importance: Cette taille d’échantillon est suffisamment grande pour produire une valeur P de 0,0 (p < 0,0001), ce qui signifie que les modèles que nous avons trouvés sont statistiquement incontestables.

2. Le moteur « Moissonneuse »

Pour trouver exactement quelle phrase l’IA citait, nous avons utilisé des intégrations sémantiques (une approche de réseau neuronal).

• Le modèle : Nous avons utilisé all-MiniLM-L6-v2, un modèle de transformation de phrases qui comprend le sens, pas seulement les mots-clés.
• Le processus : Nous avons converti chaque réponse de l’IA et chaque phrase du texte source en vecteurs à 384 dimensions. Nous les avons ensuite comparés en utilisant la similarité cosinus.
• Le filtre : Nous avons appliqué un seuil de similarité strict (0,55) pour éliminer les correspondances faibles ou les hallucinations, garantissant ainsi d’analyser uniquement les citations de confiance élevée.

3. Les métriques

Une fois que nous avons trouvé la correspondance exacte, nous avons mesuré deux choses :

• Profondeur de position : Nous avons calculé exactement où le texte cité apparaissait dans le HTML (par exemple, à la barre des 10 % par rapport à la barre des 90 %).
• ADN linguistique : Nous avons comparé les « gagnants » (introductions citées) aux « perdants » (introductions ignorées) en utilisant le traitement du langage naturel (NLP) pour mesurer :
  • Taux de définition : Présence de verbes définitifs (est, sont, fait référence à).
  • Densité d’entité : Fréquence des noms propres (marques, outils, personnes).
  • Subjectivité: Un score de sentiment de 0,0 (Fait) à 1,0 (Opinion).

---

Image en vedette : Paul Poetry/Search Engine Journal