Un nouveau document de recherche de Google DeepMind propose un nouvel algorithme de classement de recherche IA appelé BlockRank qui fonctionne si bien qu’il met le classement de recherche sémantique avancée à la portée des individus et des organisations. Les chercheurs concluent que cela « peut démocratiser l’accès à de puissants outils de découverte d’informations ».
Classement contextuel (ICR)
Le document de recherche décrit la percée de l’utilisation du classement in-contextuel (ICR), un moyen de classer des pages Web en utilisant les capacités de compréhension contextuelle d’un grand modèle de langage.
Il invite le modèle avec :
- Instructions pour la tâche (par exemple, « classer ces pages Web »)
- Documents du candidat (les pages à classer)
- Et la requête de recherche.
L’ICR est une approche relativement nouvelle explorée pour la première fois par des chercheurs de Google DeepMind et Google Research en 2024 (Les modèles de langage à contexte long peuvent-ils englober la récupération, RAG, SQL, etc. ? PDF). Cette étude antérieure a montré que l’ICR pouvait égaler les performances des systèmes de récupération spécialement conçus pour la recherche.
Mais cette amélioration a eu un inconvénient dans la mesure où elle nécessite une puissance de calcul croissante à mesure que le nombre de pages à classer augmente.
Lorsqu’un grand modèle linguistique (LLM) compare plusieurs documents pour décider lesquels sont les plus pertinents pour une requête, il doit « prêter attention » à chaque mot de chaque document et à la manière dont chaque mot est lié à tous les autres. Ce processus d’attention devient beaucoup plus lent à mesure que davantage de documents sont ajoutés, car le travail croît de façon exponentielle.
La nouvelle recherche résout ce problème d’efficacité, c’est pourquoi le document de recherche s’appelle « Classable In-context Ranking with Generative Models », car il montre comment mettre à l’échelle le classement in-contextuel (ICR) avec ce qu’ils appellent BlockRank.
Comment BlockRank a été développé
Les chercheurs ont examiné comment le modèle utilise réellement l’attention lors de la récupération en contexte et ont découvert deux modèles :
- Rareté des blocs inter-documents :
Les chercheurs ont découvert que lorsque le modèle lit un groupe de documents, il a tendance à se concentrer principalement sur chaque document séparément au lieu de les comparer tous les uns aux autres. Ils appellent cela « la parcimonie des blocs », ce qui signifie qu’il y a peu de comparaison directe entre les différents documents. En s’appuyant sur ces informations, ils ont modifié la façon dont le modèle lit les entrées afin qu’il examine chaque document individuellement, tout en les comparant tous à la question posée. Cela conserve la partie qui compte, en faisant correspondre les documents à la requête, tout en évitant les comparaisons inutiles de document à document. Le résultat est un système qui fonctionne beaucoup plus rapidement sans perdre en précision. - Pertinence du bloc requête-document :
Lorsque le LLM lit la requête, il ne traite pas tous les mots de cette question comme étant d’égale importance. Certaines parties de la question, comme des mots-clés spécifiques ou des signes de ponctuation qui signalent l’intention, aident le modèle à décider quel document mérite plus d’attention. Les chercheurs ont découvert que les modèles d’attention internes du modèle, en particulier la manière dont certains mots de la requête se concentrent sur des documents spécifiques, correspondent souvent aux documents pertinents. Ce comportement, qu’ils appellent « pertinence du bloc de requête-document », est devenu quelque chose que les chercheurs ont pu entraîner le modèle à utiliser plus efficacement.
Les chercheurs ont identifié ces deux modèles d’attention et ont ensuite conçu une nouvelle approche éclairée par ce qu’ils ont appris. Le premier modèle, la rareté des blocs inter-documents, a révélé que le modèle gaspillait des calculs en comparant les documents les uns aux autres lorsque ces informations n’étaient pas utiles. Le deuxième modèle, la pertinence du bloc requête-document, a montré que certaines parties d’une question pointent déjà vers le bon document.
Sur la base de ces informations, ils ont repensé la manière dont le modèle gère l’attention et la manière dont il est entraîné. Le résultat est BlockRank, une forme plus efficace de récupération en contexte qui élimine les comparaisons inutiles et apprend au modèle à se concentrer sur ce qui signale réellement la pertinence.
Analyse comparative de la précision de BlockRank
Les chercheurs ont testé BlockRank pour déterminer dans quelle mesure il classe les documents selon trois critères majeurs :
- APPORTER
Ensemble de nombreuses tâches de recherche et de réponse à des questions différentes utilisées pour tester dans quelle mesure un système peut trouver et classer des informations pertinentes sur un large éventail de sujets. - MME MARCO
Un vaste ensemble de données de requêtes et de passages de recherche Bing réels, utilisé pour mesurer avec quelle précision un système peut classer les passages qui répondent le mieux à la question d’un utilisateur. - Questions naturelles (NQ)
Un benchmark construit à partir de vraies questions de recherche Google, conçu pour tester si un système peut identifier et classer les passages de Wikipédia qui répondent directement à ces questions.
Ils ont utilisé un Mistral LLM de 7 milliards de paramètres et ont comparé BlockRank à d’autres modèles de classement solides, notamment FIRST, RankZephyr, RankVicuna et une base de référence Mistral entièrement affinée.
BlockRank a fonctionné aussi bien, voire mieux, que ces systèmes sur les trois benchmarks, correspondant aux résultats sur MS MARCO et Natural Questions et faisant légèrement mieux sur BEIR.
Les chercheurs ont expliqué les résultats :
« Les expériences sur MSMarco et NQ montrent que BlockRank (Mistral-7B) correspond ou dépasse l’efficacité de réglage fin standard tout en étant nettement plus efficace en matière d’inférence et de formation. Cela offre une approche évolutive et efficace pour l’ICR basé sur LLM. «
Ils ont également reconnu qu’ils n’avaient pas testé plusieurs LLM et que ces résultats étaient spécifiques à Mistral 7B.
BlockRank est-il utilisé par Google ?
Le document de recherche ne dit rien sur son utilisation dans un environnement réel. C’est donc pure conjecture de dire qu’il pourrait être utilisé. En outre, il est naturel d’essayer d’identifier la place de BlockRank dans le mode AI ou les aperçus de l’IA, mais les descriptions du fonctionnement de FastSearch et RankEmbed du mode AI sont très différentes de ce que fait BlockRank. Il est donc peu probable que BlockRank soit lié à FastSearch ou RankEmbed.
Pourquoi BlockRank est une percée
Ce que dit le document de recherche, c’est qu’il s’agit d’une technologie révolutionnaire qui met un système de classement avancé à la portée des individus et des organisations qui ne seraient normalement pas en mesure de disposer de ce type de technologie de classement de haute qualité.
Les chercheurs expliquent :
« La méthodologie BlockRank, en améliorant l’efficacité et l’évolutivité de la récupération en contexte (ICR) dans les grands modèles linguistiques (LLM), rend la récupération sémantique avancée plus facile à gérer informatiquement et peut démocratiser l’accès à de puissants outils de découverte d’informations. Cela pourrait accélérer la recherche, améliorer les résultats scolaires en fournissant rapidement des informations plus pertinentes et doter les individus et les organisations de meilleures capacités de prise de décision.
En outre, l’efficacité accrue se traduit directement par une réduction de la consommation d’énergie pour les applications LLM à forte récupération, contribuant ainsi à un développement et à un déploiement d’IA plus respectueux de l’environnement.
En permettant une ICR efficace sur des modèles potentiellement plus petits ou plus optimisés, BlockRank pourrait également élargir la portée de ces technologies dans des environnements aux ressources limitées.
Les référenceurs et les éditeurs sont libres de donner leur avis sur la question de savoir si cela pourrait ou non être utilisé par Google. Je ne pense pas qu’il y ait de preuve de cela, mais il serait intéressant d’interroger un Googleur à ce sujet.
Google semble être en train de rendre BlockRank disponible sur GitHubmais il ne semble pas encore y avoir de code disponible.
Découvrez BlockRank ici :
Classement contextuel évolutif avec des modèles génératifs
Image en vedette par Shutterstock/Nithid
Commentaires