Anthropic propose une loi IA bloquant les modèles à risque mortel

Contexte législatif

Anthropic a présenté un projet de loi destiné au Congrès américain, inspiré du Senate Bill 53 de Californie qui définit comme « catastrophique » tout risque entraînant la mort de plus de 50 personnes ou plus d’un milliard de dollars de dommages matériels. Le texte indique que ces seuils s’appliquent lorsqu’un danger « prévisible et imminent » provient de la création ou de la diffusion d’une arme biologique, d’une fuite du contrôle du modèle ou d’une cyberattaque. Cette approche législative s’inscrit dans le débat croissant sur la sécurité de l’IA, où les incidents d’« agentic hacking » ont récemment mis en lumière les failles de contrôle des modèles.

Mécanisme de blocage proposé

Le projet prévoit la désignation d’« évaluateurs indépendants » inscrits auprès du U.S. Commerce Department. Ces experts, potentiellement rémunérés par les laboratoires d’IA, doivent toutefois recevoir un paiement dont le versement n’est pas conditionné aux résultats de leurs évaluations. Une fois qu’un évaluateur conclut à un risque imminent, il dispose de 72 heures pour alerter le Commerce Department, qui doit alors solliciter un juge de Washington D.C. afin d’ordonner la suspension de la mise à disposition du modèle. Le texte interdit explicitement à toute agence fédérale d’intervenir de façon autonome, centralisant ainsi le pouvoir de décision judiciaire.

Le mécanisme s’appuie sur une logique similaire à celle de la Financial Industry Regulatory Authority (FINRA), suggérée par Demis Hassabis de DeepMind, où un organisme autorégulateur supervise les acteurs du secteur. Cependant, le texte d’Anthropic ne précise pas les critères de sélection des évaluateurs ni les garanties contre d’éventuelles pressions financières, ce qui soulève des questions de transparence et d’indépendance.

Analyse des enjeux et limites

Sur le plan technique, la définition de seuils quantitatifs (50 décès, 1 milliard $) offre une mesure claire mais risque d’ignorer des scénarios à impact élevé mais en dessous de ces valeurs, comme des atteintes massives à la vie privée ou des manipulations d’opinion publique. De plus, la capacité d’un modèle à « échapper aux contrôles du développeur » dépend de la robustesse des systèmes de monitoring, qui restent largement non standardisés dans l’industrie.

Le processus judiciaire de 72 heures introduit une contrainte temporelle stricte, mais il implique également une charge supplémentaire pour le système judiciaire, qui devra évaluer rapidement des expertises techniques complexes. L’absence de pouvoir discrétionnaire pour les agences fédérales pourrait ralentir les réponses en cas d’urgence, alors que les incidents d’IA se caractérisent souvent par leur rapidité d’évolution.

Enfin, la proposition d’Anthropic se démarque des positions de certains acteurs, comme le PDG de Nvidia, qui estime que l’industrie n’a pas besoin de nouvelles lois. En misant sur une régulation imposée par le législateur, Anthropic tente de façonner le cadre réglementaire avant que des mesures plus contraignantes ne soient imposées, mais le succès dépendra de l’acceptation par les laboratoires et de la capacité du Commerce Department à garantir l’indépendance des évaluateurs.