Les principaux assistants d’IA ont déformé ou mal géré le contenu de l’actualité dans près de la moitié des réponses évaluées, selon une étude. Étude de l’Union européenne de radiodiffusion (UER) et de la BBC.
L’étude a évalué les versions gratuites/grand public de ChatGPT, Copilot, Gemini et Perplexity, en répondant à des questions d’actualité en 14 langues dans 22 organisations médiatiques de service public dans 18 pays.
L’UER a déclaré en annonçant les conclusions :
« La distorsion systémique de l’information par l’IA est cohérente dans toutes les langues et tous les territoires. »
Ce que l’étude a trouvé
Au total, 2 709 réponses principales ont été évaluées, avec des exemples qualitatifs également tirés de questions personnalisées.
Dans l’ensemble, 45% des réponses contenaient au moins un problème important, et 81% a eu un problème. L’approvisionnement était le problème le plus courant, affectant 31% de réponses à un niveau significatif.
Comment chaque assistant s’est comporté
Les performances variaient selon la plateforme. Google Gemini a montré le plus de problèmes : 76% de ses réponses contenaient des problèmes importants, dus à 72% avec des problèmes d’approvisionnement.
Les autres assistants étaient au niveau ou en dessous 37% pour les problèmes majeurs en général et ci-dessous 25% pour des problèmes d’approvisionnement.
Exemples d’erreurs
Les problèmes de précision comprenaient des informations obsolètes ou incorrectes.
Par exemple, plusieurs assistants ont identifié le pape François comme le pape actuel fin mai, malgré son décès en avril, et Gemini a mal caractérisé les changements apportés aux lois sur les vapes jetables.
Notes méthodologiques
Les participants ont généré des réponses entre le 24 mai et le 10 juin, en utilisant un ensemble partagé de 30 questions principales ainsi que des questions locales facultatives.
L’étude s’est concentrée sur les versions gratuites/grand public de chaque assistant afin de refléter une utilisation typique.
De nombreuses organisations avaient des blocages techniques qui restreignent normalement l’accès des assistants à leur contenu. Ces blocs ont été supprimés pendant la période de génération de réponses et rétablis par la suite.
Pourquoi c’est important
Lors de l’utilisation d’assistants IA pour la recherche ou la planification de contenu, ces résultats renforcent la nécessité de vérifier les affirmations par rapport aux sources originales.
En tant que publication, cela pourrait avoir un impact sur la façon dont votre contenu est représenté dans les réponses de l’IA. Le taux élevé d’erreurs augmente le risque que des déclarations mal attribuées ou non étayées apparaissent dans les résumés citant votre contenu.
Regarder vers l’avenir
L’UER et la BBC ont publié un Actualités Intégrité dans la boîte à outils des assistants IA parallèlement au rapport, offrant des conseils aux entreprises technologiques, aux organisations médiatiques et aux chercheurs.
Reuters rapporte que l’UER estime que le recours croissant aux assistants pour l’information pourrait miner la confiance du public.
Comme l’explique Jean Philip De Tender, directeur des médias de l’UER :
« Lorsque les gens ne savent pas à quoi faire confiance, ils finissent par ne faire confiance à rien du tout, ce qui peut décourager la participation démocratique. »
Image en vedette : Marina Naumova/Shutterstock
Commentaires