앤스로픽, '드리밍' 기법 실험 결과 공개…기억 오류 스스로 고친다

앤스로픽이 6일 공식 블로그를 통해 AI 에이전트가 과거 작업 기록을 검토하고 잘못된 기억을 스스로 수정하는 '드리밍' 기법의 작동 방식과 실험 결과를 공개했다고 aitimes.com이 보도했다.

포켓몬스터 레드를 활용한 테스트에서 모델별 차이가 나타났다. 클로드 소네트 3.7은 약 1만 단계에 걸쳐 225개 폴더에 413개 파일을 만들고 배지 1개를 획득했다. 반면 클로드 페이블 5는 폴더 2개, 파일 9개, 요약 파일 1개만 유지하면서 배지 4개를 얻었다.

드리밍을 적용한 클로드는 포켓몬센터 위치에 대한 잘못된 기억을 바로잡아 다음 마을에 도달했지만, 수정하지 않은 기억을 쓴 버전은 도달하지 못했다. 클로드 오퍼스 5는 약 35만 건, 총 4억 2000만 토큰 분량의 내부 문서로 위키형 지식 베이스를 구축했으며 이 과정에 128회 이상의 분석 패스가 쓰였다.

평가 점수도 달라졌다. 위키만 사용한 평가는 13%에서 48%로 올랐고, 검색만 사용한 경우는 53%, 검색과 위키를 함께 쓴 경우는 54%에서 61%로 상승했다. 검색과 위키를 결합하면 질문당 토큰 사용량이 약 2만 개 줄었다. 문서 간 종합이 필요한 인수합병 관련 질문에서는 위키 방식이 87%로 검색만 쓴 73%를 앞섰다.

계약서 분석 테스트에서는 클로드가 계약서마다 별도 문서를 두도록 기억 규칙을 바꿔 준수율을 72%에서 100%로 끌어올렸다. 다만 일부 법률 문서 분석에서는 효과가 없었고, 위키가 원본 자료보다 커지는 경우가 있었으며, 기억 검토에는 추가 연산이 필요하다고 앤스로픽은 밝혔다.