Une IA reconstruit les images vues à partir de scanners cérébraux

Des chercheurs de l'Institut Weizmann ont mis au point un outil d'intelligence artificielle capable de reconstruire ce qu'une personne regarde à partir de scanners cérébraux, et de prédire l'activité cérébrale à partir d'une image, rapporte technologyreview.com. L'équipe est dirigée par Michal Irani.

Pour entraîner leur modèle, les chercheurs ont utilisé les données de huit personnes, chacune ayant visionné environ 9 000 images dans un scanner IRMf à haute résolution. L'outil fonctionne avec deux branches : l'une prédit la structure de l'image, l'autre son contenu.

Un modèle de diffusion produit ensuite l'image reconstruite à partir de ces prédictions. Les chercheurs ont également entraîné un encodeur qui prédit l'activité cérébrale à partir d'une image, utilisé conjointement avec le décodeur pour améliorer les deux outils.

Des années de recherche sur l'IRMf

Les neuroscientifiques travaillent depuis des années à reconstruire ce que les personnes voient à l'aide de l'IRMf, les premières tentatives produisant des images floues. D'autres équipes avaient déjà recueilli les scanners de volontaires exposés à des centaines d'images, et d'autres ont construit des outils pour recréer des images à partir de données cérébrales. Selon Michal Irani, ces outils ne sont pas suffisamment précis.