Google a publié les détails d’un nouveau type d’IA basé sur des graphiques appelés un modèle Graph Foundation (GFM) qui se généralise à des graphiques précédemment invisibles et fournit une augmentation de trois à quarante fois de précision par rapport aux méthodes précédentes, avec des tests réussis dans des applications à l’échelle telles que la détection du spam dans les publicités.
L’annonce de cette nouvelle technologie est appelée élargissant les limites de ce qui a été possible jusqu’à aujourd’hui:
«Aujourd’hui, nous explorons la possibilité de concevoir un seul modèle qui peut exceller sur les tables relationnelles interconnectées et en même temps généraliser à tout ensemble arbitraire de tableaux, de fonctionnalités et de tâches sans formation supplémentaire. Nous sommes ravis de partager notre récent progrès sur le développement de ces modèles de fondation graphiques (GFM) qui poussent les frontières de l’apprentissage graphique et de notre Tabular ML bien au-delà des bases standard.»
Graphique des réseaux de neurones vs. Modèles de fondation graphique
Les graphiques sont des représentations de données liées les unes aux autres. Les connexions entre les objets sont appelées bords et les objets eux-mêmes sont appelés nœuds. Dans le référencement, le type de graphique le plus familier pourrait être considéré comme le graphique de lien, qui est une carte de l’ensemble du Web par les liens qui connectent une page Web à une autre.
La technologie actuelle utilise des réseaux de neurones graphiques (GNNS) pour représenter des données comme le contenu de la page Web et peut être utilisée pour identifier le sujet d’une page Web.
Une recherche Google article de blog À propos de GNNS explique leur importance:
«Les réseaux de neurones graphiques, ou GNNS pour faire court, sont devenus une technique puissante pour tirer parti de la connectivité du graphique (comme dans les algorithmes plus anciens Deepwalk et Node2Vec) et les fonctionnalités d’entrée sur les différents nœuds et bords. GNNS
En plus de faire des prédictions sur les graphiques, les GNN sont un outil puissant utilisé pour combler le gouffre vers des cas d’utilisation du réseau neuronal plus typique. Ils codent pour les informations relationnelles et discrètes d’un graphique de manière continue afin qu’elle puisse être incluse naturellement dans un autre système d’apprentissage en profondeur. »
L’inconvénient des GNNS est qu’ils sont attachés au graphique sur lequel ils ont été formés et ne peuvent pas être utilisés sur un autre type de graphique. Pour l’utiliser sur un graphique différent, Google doit former un autre modèle spécifiquement pour cet autre graphique.
Pour faire une analogie, c’est comme avoir à former un nouveau modèle d’IA génératif sur des documents de langue française juste pour le faire fonctionner dans une autre langue, mais ce n’est pas le cas car les LLM peuvent généraliser à d’autres langues, ce qui n’est pas le cas pour les modèles qui fonctionnent avec des graphiques. C’est le problème que l’invention résout, pour créer un modèle qui se généralise à d’autres graphiques sans avoir à être formés sur eux en premier.
La percée que Google a annoncée est qu’avec les nouveaux modèles de fondation de graphe, Google peut désormais former un modèle qui peut généraliser à travers de nouveaux graphiques sur lesquels il n’a pas été formé et comprendre les modèles et les connexions au sein de ces graphiques. Et il peut le faire trois à quarante fois plus précisément.
Annonce mais pas de document de recherche
L’annonce de Google ne lie pas à un document de recherche. Il a été signalé que Google a décidé de publier moins de documents de recherche et c’est un grand exemple de ce changement de politique. Est-ce parce que cette innovation est si grande qu’ils veulent garder cela comme un avantage concurrentiel?
Comment fonctionnent les modèles de fondation graphique
Dans un graphique conventionnel, disons un graphique d’Internet, les pages Web sont les nœuds. Les liens entre les nœuds (pages Web) sont appelés les bords. Dans ce type de graphique, vous pouvez voir des similitudes entre les pages car les pages sur un sujet spécifique ont tendance à lier à d’autres pages sur le même sujet spécifique.
En termes très simples, un modèle de fondation graphique transforme chaque ligne dans chaque table en un nœud et connecte les nœuds associés en fonction des relations dans les tableaux. Le résultat est un seul grand graphique que le modèle utilise pour apprendre des données existantes et faire des prédictions (comme l’identification du spam) sur de nouvelles données.
Capture d’écran de cinq tables
Image de GoogleTransformation des tables en un seul graphique
Le document de recherche en dit long sur les images suivantes qui illustrent le processus:
«La préparation des données consiste à transformer les tables en un seul graphique, où chaque ligne d’une table devient un nœud du type de nœud respectif, et les colonnes de clé étrangère deviennent des bords entre les nœuds. Les connexions entre cinq tables indiquées deviennent des bords dans le graphique résultant.»
Capture d’écran des tables converties en bords
Image de GoogleCe qui rend ce nouveau modèle exceptionnel, c’est que le processus de création de sa création est «simple» et qu’il évolue. La partie sur la mise à l’échelle est importante car cela signifie que l’invention est capable de fonctionner sur l’infrastructure massive de Google.
«Nous soutenons que la mise à profit de la structure de connectivité entre les tables est essentielle pour des algorithmes ML efficaces et de meilleures performances en aval, même lorsque des données de fonctionnalité tabulaires (par exemple, prix, taille, catégorie) est clairsemée ou bruyante. À cette fin, la seule étape de préparation des données consiste à transformer une collection de tableaux en un seul graphique hétérogène.
Le processus est plutôt simple et peut être exécuté à l’échelle: chaque tableau devient un type de nœud unique et chaque ligne d’une table devient un nœud. Pour chaque ligne d’une table, ses relations de clés étrangères deviennent des bords dactylographiés vers des nœuds respectifs d’autres tables tandis que les autres colonnes sont traitées comme des caractéristiques de nœud (généralement, avec des valeurs numériques ou catégoriques). Facultativement, nous pouvons également conserver des informations temporelles en tant que caractéristiques de nœud ou de bord. »
Les tests réussissent
L’annonce de Google indique qu’ils l’ont testé pour identifier le spam dans Google Ads, ce qui a été difficile car c’est un système qui utilise des dizaines de gros graphiques. Les systèmes actuels ne sont pas en mesure d’établir des connexions entre les graphiques non liés et le contexte important MISS.
Le nouveau modèle Graph Foundation de Google a pu établir les connexions entre tous les graphiques et les performances améliorées.
L’annonce a décrit la réalisation:
« Nous observons une augmentation significative des performances par rapport aux lignes de base à table unique la mieux réglées. Selon la tâche en aval, GFM apporte des gains de 3x à 40x en précision moyenne, ce qui indique que la structure du graphique dans les tableaux relationnels fournit un signal crucial à exploiter par les modèles ML. »
Google utilise-t-il ce système?
Il est à noter que Google a testé avec succès le système avec Google Ads pour la détection du spam et signalé des avantages et aucun inconvénient. Cela signifie qu’il peut être utilisé dans un environnement vivant pour une variété de tâches du monde réel. Ils l’ont utilisé pour la détection de spam Google ADS et parce qu’il s’agit d’un modèle flexible qui signifie qu’il peut être utilisé pour d’autres tâches pour lesquelles plusieurs graphiques sont utilisés, de l’identification des sujets de contenu à l’identification du spam de liens.
Normalement, lorsque quelque chose ne casse pas, les documents de recherche et l’annonce disent que cela montre la voie à l’avenir, mais ce n’est pas ainsi que cette nouvelle invention est présentée. Il est présenté comme un succès et il se termine par une déclaration disant que ces résultats peuvent être encore améliorés, ce qui signifie qu’il peut devenir encore meilleur que ces résultats déjà spectaculaires.
«Ces résultats peuvent être encore améliorés par une mise à l’échelle supplémentaire et une collection de données de formation diversifiées ainsi qu’une compréhension théorique plus profonde de la généralisation.»
Lire l’annonce de Google:
Modèles de fondation graphique pour les données relationnelles
Image en vedette par Shutterstock / Sidorart
Commentaires