앤스로픽 실험서 전문가들, AI 제시 분석법 86% 따랐다

앤스로픽이 AI가 인간의 판단에 미치는 영향을 다룬 연구 결과를 공개했다. 인과분석 경험이 있는 전문가 61명을 모집해 진행한 실험에서, 참가자들은 AI가 선호하는 분석법을 평균 86%의 비율로 선택했다고 aitimes.com이 보도했다.

참가자 50명은 클로드 코드와 클로드 오퍼스 4.8 모델을 사용해 통계 분석 과제를 수행했다. AI를 쓰지 않기로 한 11명은 주요 분석에서 제외됐다. AI가 제시한 분석법은 동전 던지기로 무작위 배정돼 정답 여부와 무관했다.

항목별로는 생산성 지표 92%, 통계 비교 방법 82%, 분석 대상 농가 선택 81%, 농가 가중치 90%의 비율로 AI 선호 방식이 채택됐다.

전문가가 먼저 자신의 견해를 밝힌 뒤 AI가 의견을 낸 38개 선택지에서는 AI가 반대할 경우 60%가 기존 선택을 바꿨고, AI가 동의할 경우에는 6%만 바꿨다. AI가 서비스 확대 쪽으로 설정된 경우 참가자의 54%가 확대를 권고했고, 그렇지 않은 경우에는 36%였으나 이 차이는 통계적으로 유의하지 않았다.

참가자 77%는 선택 이유를 설명할 때 AI의 추론을 활용했지만, 그 근거의 출처로 AI를 밝힌 비율은 15%에 그쳤다. 설문에 응한 참가자의 52%는 최종 권고가 AI보다 자신의 판단을 더 반영했다고 답했다.