Anthropic ajoute un avertissement sur l'auto-amélioration récursive dans son dépôt S-1/A
Le dépôt S-1/A révisé d'Anthropic, publié lundi, ajoute un risque lié à une accélération imminente au sens de sa Responsible Scaling Policy.
Anthropic a ajouté un avertissement dans la section « Risk Factors » de son dépôt S-1/A révisé, publié lundi, indiquant que l'entreprise pourrait bientôt satisfaire à la définition de « progrès considérablement accéléré attribuable à l'IA » de sa Responsible Scaling Policy, selon gizmodo.com.
Le document cite des estimations et attentes internes concernant les futurs modèles, qui pourraient amener Anthropic à atteindre ce seuil de manière imminente. La version du 26 octobre du dépôt comportait déjà une section sur le rythme d'accélération induit par l'IA, mais pas cette nouvelle affirmation.
La Responsible Scaling Policy engage l'entreprise à explorer des moyens ambitieux, et éventuellement non conventionnels, pour atteindre des niveaux de sécurité sans précédent. Elle décrit également un état de surveillance appelé « eyes on everything » (les yeux partout), où Anthropic n'aurait plus à dépendre de programmes de primes aux bogues.
Le concept d'auto-amélioration récursive s'inscrit dans une lignée terminologique plus ancienne : il dérive de la notion de « seed AI », attribuée au chercheur Eliezer Yudkowsky, selon les éléments de contexte disponibles.
En bref
Qu'est-ce que le dépôt S-1/A révisé d'Anthropic ?
Il s'agit d'une version amendée du document d'enregistrement d'Anthropic, publiée lundi, qui ajoute un avertissement sur les risques liés à une accélération imminente au sens de la Responsible Scaling Policy.
Quelle est la différence avec la version du 26 octobre ?
La version du 26 octobre contenait une section sur le rythme d'accélération induit par l'IA, mais pas la nouvelle affirmation sur l'atteinte imminente du seuil défini par la Responsible Scaling Policy.
Que prévoit la Responsible Scaling Policy en matière de surveillance ?
Elle décrit un état de surveillance appelé « eyes on everything » et indique qu'Anthropic n'aurait plus à s'appuyer sur des programmes de primes aux bogues.