« L'IA est une récompense trop précieuse pour que quiconque puisse l'arrêter » : l'avertissement du PDG d'Anthropic

Dario Amodei, PDG d'Anthropic, a lancé un avertissement explicite sur l'avenir de l'intelligence artificielle. Dans un essai de 38 pages intitulé « L’adolescence de la technologie : affronter et surmonter les risques d’une IA puissante », le dirigeant affirme que l’humanité est confrontée à une épreuve de maturité historique, face à une technologie dont la puissance croît plus vite que les institutions capables de la contrôler.

« L’humanité est sur le point de se voir attribuer un pouvoir presque inimaginable, et il n’est pas sûr que nos systèmes sociaux, politiques et technologiques aient la maturité nécessaire pour y faire face. »écrit Amodei, qui décrit le moment actuel comme une phase inévitable de dislocation.

Le cœur de son argument est que la course à l’IA ne peut pas s’autoréguler. L’incitation économique, géopolitique et militaire est si forte qu’aucun laboratoire, entreprise ou gouvernement n’a réellement la possibilité d’appuyer sur le frein sans être laissé pour compte. « Le prix est trop brillant »dit Amodei, même à ceux qui sont pleinement conscients des risques.

Pour expliquer l’ampleur du problème, le PDG recourt constamment à une métaphore inquiétante : « un pays de génies dans un data center ». Un écosystème composé de millions de systèmes d’IA, plus intelligents que n’importe quel être humain, fonctionnant à la vitesse d’une machine, se coordonnant et ayant une capacité croissante à agir sur le monde réel. Le risque, selon Amodei, est uniquement moral et stratégique, puisque le pouvoir est concentré avant qu’il n’y ait des mécanismes pour le gouverner.

L’essai, en ce sens, identifie cinq grands domaines de risque :

• Autonomie : systèmes qui développent des comportements imprévisibles ou difficiles à contrôler
• Utilisation malveillante par des individus, en particulier dans des domaines tels que la biologie, où l'IA pourrait réduire considérablement les obstacles à l'apparition de dommages massifs.
• Utilisation par des États autoritaires pour renforcer la surveillance, la propagande ou le contrôle social
• L’impact économique, avec une rupture accélérée de l’emploi et une extrême concentration des richesses
• Effets indirects : changements culturels, psychologiques et sociaux qui surviendraient avant qu'il n'y ait des normes pour les gérer.

Amodei est particulièrement explicite en avertissant qu’une IA puissante pourrait être à quelques pas. « dans un ou deux ans »et qu'une analyse sérieuse pourrait le classer comme « la plus grande menace à la sécurité nationale depuis un siècle, voire dans toute l’histoire. » Non pas parce que la catastrophe est inévitable, mais parce que la combinaison de la capacité, de la vitesse et de l’échelle multiplie l’impact de toute panne.

Le piège de la régulation

Le texte fait également office de positionnement. Anthropic est l'un des grands acteurs de ce que l'on appelle « l'IA frontière » et est en concurrence directe sur le marché avec des systèmes comme Claude, son propre modèle conversationnel. Le jour même de la publication de l'essai, l'entreprise annonçait des améliorations commerciales de son produit, soulignant la tension centrale du discours : mettre en garde contre une technologie tout en accélérant son adoption.

Amodei lui-même reconnaît ce paradoxe. Il défend que l'autorégulation volontaire ne suffit pas et préconise des interventions « ennuyeux mais efficace »: Lois sur la transparence, contrôles des exportations de puces, obligations de divulgation sur le comportement des modèles et réglementations progressives conçues pour gagner du temps et non pour geler les progrès. « La tentation des solutions grandiloquentes aboutit généralement à un théâtre sécuritaire »prévient-il, mettant en garde contre des réglementations mal conçues qui provoquent le rejet social.

Dans sa vision, l’objectif n’est pas d’arrêter l’IA, ce qu’il considère comme irréalisable. La clé réside dans l’acquisition d’une marge de manœuvre institutionnelle avant que la technologie ne dépasse définitivement la capacité humaine de réaction. Sinon, le risque sera technique mais aussi politique, car si le contrôle de l’IA reste entre les mains de quelques acteurs – entreprises, États ou alliances – ils seront en mesure de façonner les économies, les récits et les structures de pouvoir à l’échelle mondiale.

« Le piège »conclut Amodei, croit que quelqu'un au sein de la course peut agir en adulte responsable lorsque tout le monde est en compétition pour le même butin. Un avertissement qui prend du poids justement parce qu’il émane de l’un des protagonistes du système même qu’il décrit.

Plus d'informations : L'adolescence de la technologie