구글 딥마인드·스탠퍼드, 이미지가 AI 코딩 바꾼다 연구 발표

구글 딥마인드와 스탠퍼드대학교 연구진이 단순한 시각 기호가 비전-언어 AI 모델의 코드 작성 방식을 크게 바꿀 수 있다는 연구 결과를 10월 27일 아카이브(arXiv)에 공개했다. 논문 제목은 'A Heart Means Recursion'이다. aitimes.com이 보도했다.

연구진은 24가지 도형과 12가지 색을 조합한 288개 시각 기호를 실험에 사용했다. 이미지를 전혀 주지 않은 조건에서 클로드 오퍼스 4.7과 GPT-5.4는 모두 반복문 기반 코드를 작성했다. 그러나 빨간 하트 이미지를 추가하자 두 모델 모두 100%의 시행에서 재귀 기반 코드를 작성했다.

모델별 반응도 갈렸다. 클로드 오퍼스 4.7은 삼각형과 원에 강하게 반응해 재귀를 택했고, GPT-5.4는 하트에 특히 민감했다. 제미나이 3.1 프로는 노란 체크 표시를 보여줬을 때 90%의 확률로 재귀를 선택했다. 반면 이미지를 글로 설명한 경우에는 이런 효과가 거의 재현되지 않았다.

모델은 이미지의 영향을 스스로 잘못 설명했다

추론 로그를 분석한 결과, 제미나이 3.1 프로가 시각 기호의 영향을 실제로 받은 사례 가운데 71.5%에서 모델은 해당 이미지를 무관한 정보라고 판단했다. GPT-5.4는 이미지가 행동에 영향을 주지 않은 사례의 74.7%에서 기호가 코딩에 영향을 줬다고 진술했다.

글쓰기 실험에서도 분홍색 도형과 하트는 세 모델 모두를 전문적인 문체보다 시적인 문체로 이끌었다. 제미나이 3.1 프로와 GPT-5.4는 파란 삼각형을 보여줬을 때 여름보다 겨울을 고르는 경향을 보였다. AI 간 이미지 의사소통에서는 자유 작화 조건의 첫 시도 성공률이 91.2%, 최종 성공률이 97.8%였지만 정해진 도형만 허용한 조건에서는 첫 시도 성공률이 47.8%로 떨어졌다. AI의 코딩 행동을 바꾼 기호의 의미를 사람 참가자가 정확히 맞힌 비율은 약 36%였으며, 이 인간 실험에는 참가자 7명만 참여했다.