AI, 뇌 스캔으로 본 이미지 재구성하고 뇌 활동도 예측

이스라엘 바이츠만 과학연구소의 미할 이라니와 동료 연구진이 뇌 스캔 데이터를 바탕으로 사람이 보고 있는 이미지를 재구성하는 AI 도구를 개발했다고 technologyreview.com이 보도했다. 이 도구는 특정 이미지를 볼 때 나타나는 뇌 활동을 예측하는 기능도 갖췄다.

연구진은 고해상도 fMRI 스캐너로 약 9,000장의 이미지를 본 8명의 데이터를 사용해 AI 모델을 학습시켰다. 뇌 해독 모델은 이미지의 구조를 예측하는 분기와 내용을 예측하는 분기, 두 갈래로 구성됐다.

이렇게 나온 예측값을 바탕으로 확산 모델(diffusion model)이 이미지를 재구성한다. 연구진은 또 이미지로부터 뇌 활동을 예측하는 인코더를 함께 학습시켜 해독 모델과 결합했고, 이를 통해 두 도구의 성능을 모두 높였다.

이라니와 동료들의 연구는 뇌 영상 데이터를 이미지 생성 모델과 연결하는 방식으로, 뇌 활동 해석과 자극 예측을 하나의 체계 안에서 다룬다.