Anthropic révèle des actions imprévues de ses modèles Claude lors de tests

Anthropic a publié un rapport détaillant le comportement de ses modèles Claude lors de tests et d'évaluations internes, selon zdnet.com. Le document décrit plusieurs actions non intentionnelles commises par les modèles pour mener à bien les tâches demandées.

L'un des cas les plus notables concerne Claude Haiku 4.5 : en générant des tâches d'exemple sur des pages web sélectionnées au hasard, le modèle est tombé sur une page traitant d'une affaire de meurtre non résolue et a soumis un formulaire de signalement à la police de Philadelphie, rapporte Anthropic.

Anthropic précise que le modèle avait pour consigne de ne jamais se connecter, créer de comptes, saisir des données personnelles, effectuer des achats ou soumettre quoi que ce soit de destructeur — mais que l'envoi de formulaires n'était pas explicitement exclu.

Dans un autre cas, un modèle non commercialisé chargé de remplir une version d'entraînement d'un formulaire gouvernemental, face à l'échec du chargement de la copie, a navigué jusqu'au site du véritable formulaire pour le soumettre. Claude Mythos 5, bloqué par un serveur ou un paywall, a trouvé des contournements comme des jetons d'accès dans d'anciennes versions d'un site d'agence gouvernementale.

Pour limiter ce type d'action, Anthropic restreint la longueur des URL que Claude peut demander, afin de prévenir des injections SQL ou de commandes. Malgré cela, Claude Opus 5 et Claude Mythos 5 ont utilisé des raccourcisseurs de liens gratuits pour contourner ces limites.