Anthropic appelle les principales entreprises mondiales d'intelligence artificielle à élaborer un plan coordonné pour stopper le développement des systèmes d'IA avancés, avertissant que cette technologie progresse si rapidement qu'elle risque de perdre le contrôle humain.
L'entreprise qui a développé le chatbot Claude a déclaré jeudi dans un article de blog que, face à l'accélération constante des tâches par les technologies d'intelligence artificielle avancées, « il serait souhaitable que le monde ait la possibilité de ralentir ou de suspendre temporairement » leur développement.
Anthropic a déclaré que son institut de recherche interne prévoyait d'étudier la question en collaboration avec d'autres organisations et de « prendre des mesures » pour contribuer à la création de systèmes permettant de ralentir ou de suspendre de manière crédible la croissance économique, sans fournir de détails.
OpenAI, entreprise rivale de l'intelligence artificielle anti-humaine, a préconisé une approche différente dans un rapport publié mercredi, arguant que « les règles, les garanties et les mécanismes de responsabilité devraient en fin de compte être déterminés par les gouvernements démocratiques, et non par des entreprises privées agissant seules ».
« Nous estimons que les décisions relatives au rythme de l'innovation en intelligence artificielle ne devraient pas être laissées à un seul laboratoire, une seule entreprise ou un seul groupe d'intérêt particulier », indique le communiqué.
Selon Anthropic, les modèles d'IA sont de plus en plus rapides et leur capacité à exécuter de manière autonome des tâches logicielles, comme la programmation, progresse rapidement. Compte tenu des tendances actuelles et grâce à une puissance de calcul suffisante, un système d'IA sera capable de concevoir et de développer ses propres successeurs, un processus appelé « auto-amélioration récursive ».
Selon Anthropic, l'IA auto-organisée constituera une étape technologique majeure qui profitera à la science, à la santé et à d'autres domaines, mais « pourrait également accroître le risque que les humains perdent le contrôle des systèmes d'IA ».
Certains acteurs du secteur technologique mettent en garde depuis longtemps contre un tel scénario.
L'annonce d'Anthropic fait suite à un autre avertissement lancé cette semaine par une équipe de chercheurs de l'Université de Toronto, qui ont démontré comment les outils d'IA pourraient être utilisés pour créer un nouveau type de « ver » d'IA qui adapte sa stratégie de piratage à mesure qu'il se propage d'un appareil à l'autre et prend le contrôle d'un vaste réseau informatique.
« Je pense qu’il est vraiment important que les gens comprennent que ce ne sont pas seulement les modèles de langage les plus grands et les plus puissants qui posent des problèmes de sécurité », a déclaré Nicholas Paperno, chercheur principal, lors d’une interview.
Les auteurs de l'article publié dans Anthropic, Jack Clark, cofondateur de l'entreprise, et Marina Favaro, directrice de l'institut de recherche, ont déclaré que cette pause permettra de garantir que la recherche sur les structures sociales et la cohérence puisse suivre le rythme des progrès de l'IA. La cohérence, dans le jargon du secteur, désigne l'alignement de la technologie avec les valeurs et les intentions humaines.
La coordination proposée permettrait aux laboratoires d'IA de pointe de vérifier si les concurrents mondiaux ont réellement arrêté ou ralenti leurs opérations, « et qu'un attaquant ne serait pas en mesure d'exploiter le ralentissement coordonné pour devancer secrètement ses concurrents ».
L'entreprise a déclaré qu'un mécanisme mondial coordonné était nécessaire car, sans lui, le ralentissement du développement de l'IA pourrait permettre à des acteurs « moins prudents » de rattraper leur retard et d'accroître la pression sur les entreprises et les gouvernements confrontés à des décisions difficiles concernant la sécurité de l'IA.
L'annonce d'Anthropic intervient alors que la société et OpenAI, développeur de ChatGPT, s'empressent de vendre leurs actions en bourse lors d'une introduction en bourse qui pourrait valoriser Anthropic à près d'un billion de dollars.
Papernot a averti les autorités canadiennes de cybersécurité avant la publication d'un rapport montrant comment des chercheurs ont développé le ver en laboratoire à l'aide d'un outil d'intelligence artificielle « open source » auquel les développeurs de logiciels peuvent facilement et à moindre coût accéder et qu'ils peuvent modifier.
« Auparavant, les cybercriminels ciblaient principalement les infrastructures de grande valeur », a-t-il déclaré. « Les systèmes bancaires, les hôpitaux, les réseaux électriques, les systèmes de traitement des eaux, les écoles. ».
Papernot a convenu qu'une collaboration accrue est nécessaire entre les entreprises, les agences gouvernementales et les chercheurs universitaires pour développer des contre-mesures, car les outils de piratage basés sur l'IA accélèrent considérablement la recherche de vulnérabilités informatiques.
« Ce vieux portable que vous laissez au sous-sol et que vous consultez rarement ne semble peut-être pas être une cible de grande valeur, mais il peut servir de tremplin pour des attaques contre des cibles plus importantes », a-t-il déclaré. « Tout ce qui est connecté à Internet est désormais vulnérable, compte tenu du faible coût des cyberattaques. ».