Anthropic : les experts suivent l'IA dans 86 % des choix d'analyse

Anthropic a publié le 27 octobre une étude sur l'influence de l'IA sur le jugement humain, selon aitimes.com. L'entreprise a recruté 61 experts disposant d'une expérience en analyse causale. Cinquante d'entre eux ont utilisé Claude Code avec le modèle Claude Opus 4.8 pour réaliser des tâches d'analyse statistique ; les 11 autres ont choisi de ne pas recourir à l'IA et ont été exclus de l'analyse principale.

Les experts ont retenu la méthode d'analyse préférée de l'IA dans 86 % des cas en moyenne. Ce taux atteint 92 % pour les indicateurs de productivité, 82 % pour les méthodes de comparaison statistique, 81 % pour le choix des fermes à analyser et 90 % pour la pondération des fermes. Les préférences de l'IA étaient attribuées au hasard par tirage au sort : elles ne comportaient donc aucune correction intrinsèque.

Dans 38 choix où les experts avaient exprimé leur avis avant que l'IA ne donne le sien, 60 % ont modifié leur choix initial lorsque l'IA était en désaccord, contre 6 % lorsqu'elle était d'accord. Lorsque l'IA était configurée pour favoriser l'extension du service, 54 % des participants ont recommandé cette extension, contre 36 % dans le cas contraire ; la différence n'était pas statistiquement significative.

Par ailleurs, 77 % des participants ont repris le raisonnement de l'IA pour expliquer leurs choix, mais seulement 15 % ont cité l'IA comme source de ce raisonnement. Enfin, 52 % des participants interrogés ont déclaré que la recommandation finale reflétait davantage leur propre jugement que celui de l'IA.