La course au développement de modèles d’intelligence artificielle de plus en plus performants commence à se heurter à une demande qu’il était jusqu’à récemment difficile d’imaginer émanant de ses propres protagonistes : ralentir. Dario Amodei, PDG d’Anthropic, a ouvertement appelé à ralentir l’avancement des capacités des modèles afin de gagner du temps pour renforcer les mesures de sécurité, établir des mécanismes d’évaluation indépendants et développer des accords entre les entreprises et les gouvernements.
Sa position a trouvé le soutien de certains de ses principaux concurrents. Sam Altman, PDG d’OpenAI, a indiqué que la question faisait partie des conversations internes de l’entreprise depuis des semaines et Elon Musk, fondateur de xAI, a publiquement soutenu Amodei. Demis Hassabis, PDG de Google DeepMind, s’est également montré disposé à un ralentissement coordonné.
Le débat intervient après des semaines particulièrement mouvementées pour le secteur, avec des incidents impliquant des agents autonomes, des chercheurs qui ont laissé les entreprises averties des risques et une inquiétude croissante quant à ce que l’on appelle l’auto-amélioration récursive : la capacité des systèmes eux-mêmes à contribuer au développement des générations suivantes d’intelligence artificielle.
L’auto-amélioration récursive est la capacité des systèmes à développer les générations suivantes d’IA
La discussion a également transcendé le domaine technologique. Barack Obama a prévenu qu’une technologie qui progresse rapidement et fondamentalement « entre des mains privées » Cela peut être dangereux si les pouvoirs publics ne parviennent pas à l’anticiper. Donald Trump, en revanche, a rejeté les appels à un ralentissement significatif du développement, arguant que les États-Unis doivent préserver leur avantage sur la Chine.
Un horizon qui va se complexifier dans six à douze mois
Le tournant a été marqué par Amodei avec la publication de l’essai « We Must Pace the Frontier », dans lequel il reconnaît que ses propres idées sur la manière d’affronter les risques de l’intelligence artificielle ont évolué. Le PDG d’Anthropic explique qu’il y a quelques années, il jugeait prématuré de tenter de réduire le rythme car les systèmes n’étaient pas encore suffisamment performants. En 2026 il estime que la situation est différente.
L’une des raisons est précisément l’auto-amélioration récursive. Les modèles jouent un rôle croissant dans la recherche, la programmation et la construction des systèmes qui leur succéderont, ce qui pourrait accélérer les progrès et réduire les possibilités de compréhension et de contrôle de leurs capacités.
À cela s’ajoutent des incidents récents liés aux agents autonomes. Amodei évoque des épisodes au cours desquels les systèmes d’IA ont développé des comportements imprévus et propose un scénario spécifique : si les capacités continuent d’augmenter au rythme actuel, dans une période de six à douze mois, il pourrait y avoir des agents capables de contrôler une partie significative d’Internet à travers des réseaux persistants, avec des dommages économiques potentiels d’une ampleur énorme.
Il ne s’agit donc pas d’une demande visant à arrêter complètement l’intelligence artificielle. Amodei utilise l’expression « arpenter la frontière »: Modérer délibérément le rythme de développement des systèmes les plus avancés afin de prolonger le temps disponible pour étudier leurs risques et construire des mécanismes de protection. « Nous devons réduire le rythme auquel nous améliorons les capacités des modèles d’IA »affirme Amodei dans son essai, tout en soulignant que même dans ce scénario, les progrès continueraient à être rapides.
Des audits indépendants à une éventuelle pause mondiale
Le PDG d’Anthropic structure sa proposition en trois niveaux de coordination progressifs. La première dépend uniquement des entreprises elles-mêmes et Anthropic s’est déjà engagée à l’appliquer : fournir aux évaluateurs tiers indépendants un accès permanent et large à leurs systèmes pour vérifier le respect des pratiques et engagements de sécurité.
Parmi ces évaluateurs figure METR, une organisation spécialisée dans l’analyse des capacités et des risques des modèles avancés. La démarche d’Amodei est de leur accorder un niveau d’accès proche de celui des équipes risques internes elles-mêmes, en respectant certaines restrictions légales et de confidentialité, et en leur permettant de publier leurs conclusions sans contrôle éditorial d’Anthropic.
Le deuxième niveau exigerait que les principaux laboratoires d’intelligence artificielle des pays démocratiques se mettent d’accord sur des normes de sécurité communes et sur des limites au développement incontrôlé. L’idée est d’éviter qu’une entreprise qui décide d’agir avec plus de prudence soit immédiatement pénalisée par rapport à ses concurrents qui maintiennent l’accélérateur.
La troisième étape est également la plus complexe : parvenir à des accords internationaux impliquant des puissances rivales comme la Chine. Amodei envisage tout, depuis l’interdiction de certaines utilisations particulièrement dangereuses jusqu’aux tests de sécurité avant le lancement des modèles, en passant par les limites de vitesse d’auto-amélioration récursive et même, dans un scénario extrême, une pause mondiale coordonnée.
Les avertissements viennent également d’Anthropic
L’intervention d’Amodei intervient quelques jours après que Jacob Coxon, un chercheur qui a travaillé à la fois chez OpenAI et Anthropic, a quitté cette dernière entreprise, dénonçant publiquement les risques que, selon lui, prend l’industrie dans sa course aux systèmes superintelligents.
Coxon affirme que les entreprises s’orientent vers une amélioration de leur intelligence tout en prenant des risques dont leurs propres employés sont conscients. Sa plainte a pris une importance particulière après avoir reçu le soutien d’Evan Hubinger, responsable de la recherche sur l’alignement chez Anthropic.
Et Hubinger a déclaré publiquement qu’il estime qu’il existe une probabilité supérieure à 10 % que l’intelligence artificielle puisse provoquer l’extinction de l’humanité au cours de la prochaine décennie. Il a toutefois précisé que son inquiétude ne se réfère pas aux modèles actuels, dont il considère le risque réduit, mais à une future superintelligence née de processus d’auto-amélioration récursive.
Il y a plus de 10 % de chances que l’IA provoque l’extinction de l’humanité au cours de la prochaine décennie.
OpenAI envisage également de réduire le rythme
Anthropic n’est pas non plus le seul parmi les grandes entreprises. OpenAI a discuté en interne de la possibilité de synchroniser le développement de ses systèmes avec d’autres laboratoires et Sam Altman a soutenu la proposition de fournir aux évaluateurs indépendants un niveau d’accès similaire à celui des propres travailleurs des entreprises.
« Cela a été l’un des principaux sujets des conversations que nous avons eues à OpenAI ces dernières semaines »a noté Altman en réagissant à la proposition d’Amodei. Le PDG a également assuré qu’OpenAI adopterait également l’engagement de fournir un accès à des évaluateurs indépendants.
Cette position rejoint celle récemment exprimée par Jakub Pachocki, scientifique en chef chez OpenAI, qui a soutenu que les entreprises devraient être en mesure de coordonner les ralentissements si nécessaire jusqu’à ce que des seuils de sécurité partagés soient établis. Selon les informations publiées par Bloomberg, OpenAI aurait déjà arrêté certaines formations internes et réduit certains travaux de développement en raison de problèmes de sécurité.
Mais la coordination entre concurrents soulève aussi un problème moins technologique : celle de savoir si elle serait légale. OpenAI a consulté des membres du Congrès américain sur les implications d’un accord conjoint de grandes entreprises pour réduire le rythme de leur développement, étant donné la possibilité qu’une action coordonnée entre concurrents soulève des conflits avec la législation antitrust.
La Chine, grande limite de tout accord
La proposition d’Amodei intègre une contradiction que le dirigeant lui-même reconnaît : il veut ralentir le développement de l’intelligence artificielle, mais pas au détriment d’un dépassement de la Chine par rapport aux États-Unis.
Le PDG d’Anthropic estime que le leadership chinois en matière d’intelligence artificielle constituerait un risque pour les États-Unis et les démocraties, et défend le maintien des contrôles sur l’exportation de puces avancées et la lutte contre des mécanismes tels que la distillation non autorisée de modèles occidentaux.
Son approche consiste, en pratique, à préserver d’abord un avantage technologique suffisant pour les États-Unis et leurs alliés et, à partir de là, à construire ensuite des accords internationaux permettant de réduire le rythme de manière coordonnée.
Cette dimension géopolitique introduit également une autre question dans le débat. Les règles proposées par Amodei sont relativement faciles à appliquer aux modèles fermés proposés via des services contrôlés par des sociétés comme Anthropic ou OpenAI, mais elles sont beaucoup plus difficiles à traduire en modèles ouverts qui peuvent être téléchargés, modifiés et exécutés en dehors de l’infrastructure de leurs développeurs.
La sécurité de l’intelligence artificielle est donc également liée au modèle de distribution des technologies et au risque que des normes plus exigeantes finissent par concentrer le développement des systèmes les plus performants dans un petit groupe d’entreprises. Ce dilemme entre sécurité et leadership technologique explique aussi la réaction de Donald Trump. Le président américain a minimisé les scénarios les plus alarmistes et a insisté sur le fait que sa priorité était que les États-Unis maintiennent leur avantage sur la Chine.
« Nous sommes en avance sur la Chine en matière d’IA et, franchement, je veux que cela continue ainsi, car celui qui gagne en IA, gagne »
Donald Trump
Le président de la Chambre des représentants, Mike Johnson, a exprimé une position similaire, avertissant qu’une intervention législative précipitée pourrait même devenir une menace pour la sécurité nationale si elle finissait par affaiblir les entreprises américaines face à leurs rivales chinoises.
De l’autre côté du débat, Barack Obama a appelé à ce que l’intelligence artificielle occupe une place prioritaire dans l’agenda politique américain. L’ancien président estime que son développement peut accélérer les progrès dans des domaines tels que la médecine ou les énergies propres, mais met en garde contre les risques de permettre à une technologie de cette ampleur d’évoluer principalement sous le contrôle d’entreprises privées sans encadrement suffisant.
La discussion sur la rapidité de l’intelligence artificielle est ainsi passée en quelques jours des équipes de sécurité des laboratoires aux bureaux de leurs plus hauts dirigeants et, de là, à la politique américaine. La question va au-delà de jusqu’où les modèles peuvent aller : l’accent est désormais mis sur qui est prêt à ralentir, selon quelles règles et, surtout, qui acceptera de le faire en premier.
Plus d’informations : Essai «Nous devons arpenter la frontière» par Dario Amodei
