Dans une récente interview avec l’Université de Stanford, Sam Altman, PDG d’OpenAI, a prédit que la sécurité de l’IA deviendrait le problème déterminant de la prochaine phase de développement de l’IA, affirmant que la sécurité de l’IA est l’un des meilleurs domaines à étudier à l’heure actuelle. Il a également cité l’IA personnalisée comme exemple de problème de sécurité auquel il a réfléchi ces derniers temps.
Que signifie la sécurité de l’IA aujourd’hui ?
Sam Altman a déclaré que les préoccupations concernant la sécurité de l’IA seront recadrées comme des problèmes de sécurité de l’IA pouvant être résolus par l’IA.
L’animateur de l’interview, Dan Boneh, a demandé :
« Alors, qu’est-ce que cela signifie pour un système d’IA d’être sécurisé ? Qu’est-ce que cela signifie même d’essayer de lui faire faire des choses pour lesquelles il n’a pas été conçu ? «
Comment pouvons-nous protéger les systèmes d’IA contre les injections rapides et d’autres attaques de ce type ? Que pensez-vous de la sécurité de l’IA ?
Je suppose que la question concrète que je veux poser est la suivante : parmi toutes les différentes choses que nous pouvons faire avec l’IA, ce cours concerne l’apprentissage d’un aspect du domaine. Est-ce un bon quartier ? Les gens devraient-ils se lancer dans cela ?
Sam Altman a encouragé les étudiants d’aujourd’hui à étudier la sécurité de l’IA.
Il répondit :
« Je pense que c’est l’un des meilleurs domaines à étudier. Je pense que nous nous dirigeons bientôt vers un monde où de nombreux problèmes de sécurité de l’IA dont les gens ont traditionnellement parlé vont être retransformés en problèmes de sécurité de l’IA de différentes manières. «
Je pense également qu’étant donné les capacités croissantes de ces modèles, si nous voulons pouvoir les déployer pour une utilisation généralisée, les problèmes de sécurité vont devenir très importants. Vous avez mentionné de nombreux domaines qui, à mon avis, sont extrêmement importants à comprendre. La robustesse de l’adversaire, en particulier, semble devenir très sérieuse.
Ce que Altman veut dire, c’est que les gens commencent à trouver des moyens de tromper les systèmes d’IA, et le problème devient suffisamment grave pour que les chercheurs et les ingénieurs doivent se concentrer sur la résistance de l’IA à la manipulation et à d’autres types d’attaques, telles que les injections rapides.
La personnalisation de l’IA devient un problème de sécurité
Altman a également déclaré qu’il avait beaucoup réfléchi ces derniers temps aux éventuels problèmes de sécurité liés à la personnalisation de l’IA. Il a déclaré que les gens apprécient les réponses personnalisées de l’IA, mais il a ajouté que cela pourrait ouvrir la porte à des pirates malveillants qui découvriraient comment voler des données sensibles (exfiltration).
Il a expliqué :
« Encore une chose que je mentionnerai et que vous avez évoquée un peu, mais qui m’est venue à l’esprit récemment. Il y a deux choses que les gens aiment vraiment en ce moment et qui, prises ensemble, constituent un véritable défi de sécurité. «
Premièrement, les gens aiment la personnalisation de ces modèles. ChatGPT apprend désormais vraiment à vous connaître. Il personnalise votre historique de conversation, les données que vous y avez connectées, etc.
Et deuxièmement, vous pouvez connecter ces modèles à d’autres services. Ils peuvent partir et appeler des choses sur le Web et, vous savez, faire des choses qui vous sont utiles.
Mais ce que vous ne voulez vraiment pas, c’est que quelqu’un puisse exfiltrer les données de votre modèle personnel et qu’il sache tout sur vous.
Et les humains, vous pouvez en quelque sorte avoir confiance pour être raisonnables dans ce domaine. Si vous confiez beaucoup de secrets à votre conjoint, vous pouvez en quelque sorte être sûr qu’il saura dans quel contexte quoi dire aux autres. Les modèles ne le font pas encore très bien.
Et donc, si vous parlez comme un mannequin de vos problèmes de santé privés, et que tout s’arrête, et que vous avez l’impression d’acheter quelque chose pour vous, vous ne voulez pas que ce site de commerce électronique soit au courant de tous vos problèmes de santé ou autre.
Mais il s’agit d’un problème de sécurité très intéressant à résoudre avec une robustesse de 100 %.
Altman identifie la personnalisation comme une percée et une nouvelle ouverture pour les cyberattaques. Les mêmes qualités qui rendent l’IA plus utile en font également une cible, puisque les modèles qui apprennent des histoires individuelles pourraient être manipulés pour les révéler. Altman montre comment la commodité peut devenir une source d’exposition, expliquant que la confidentialité et la convivialité sont désormais des défis de sécurité.
Enfin, Altman est revenu sur l’IA comme étant à la fois le problème de sécurité et la solution.
Il a conclu :
« Ouais, au fait, cela fonctionne dans les deux sens. Comme si vous pouviez l’utiliser pour sécuriser des systèmes. Je pense que cela va être un gros problème pour les cyberattaques à différents moments. »
Points à retenir
- La sécurité de l’IA comme prochaine phase du développement de l’IA
Altman prédit que la sécurité de l’IA remplacera la sécurité de l’IA en tant que défi et opportunité centrale de l’intelligence artificielle. - La personnalisation comme nouvelle surface d’attaque
La tendance croissante des systèmes d’IA qui apprennent des données des utilisateurs soulève de nouveaux problèmes de sécurité, car la personnalisation pourrait exposer les attaquants à des opportunités d’extraire des informations sensibles. - Double rôle de l’IA dans la cybersécurité
Altman souligne que l’IA constituera à la fois de nouvelles menaces de sécurité et constituera un outil puissant pour les détecter et les prévenir. - Besoin émergent d’expertise en sécurité de l’IA
Les commentaires d’Altman suggèrent qu’il y aura une demande croissante de professionnels sachant comment sécuriser, tester et déployer l’IA de manière responsable.
Regardez Altman parler du Marque des 15 minutes:
Commentaires