Agyfelvételekből alkotja újra a látott képeket egy új MI-eszköz

A Weizmann Tudományos Intézet kutatói olyan mesterségesintelligencia-eszközt fejlesztettek, amely agyi felvételek alapján képes megbecsülni, mit néz egy ember, majd az eredményből a látott képhez hasonló képet rekonstruálni. A rendszer fordítva is működik: egy kép alapján előre jelzi, milyen agyi aktivitás várható annak megtekintésekor. A kutatást Michal Irani és munkatársai végezték, akik szerint a módszer új információkat adhat az agy működéséről, és hosszabb távon segítheti a bezártságszindrómával élők kommunikációját vagy az álmok tartalmának vizsgálatát.

A technológia funkcionális mágnesesrezonancia-vizsgálatok, vagyis fMRI-felvételek adataira épít. Ezek az oxigéndús vér áramlását követik az agyban, de a hagyományos berendezések térbeli felbontása korlátozott: egy kiemelt voxel körülbelül három köbmilliméteres területet fed le, nagyjából 16 ezer neuronnal. A kutatók újabb, nagyobb felbontású adatsorokat használtak, amelyekben egy voxel körülbelül egy köbmilliméteres. A modellt nyolc ember korábbi vizsgálati adataival tanították, akik egyenként mintegy 9000 képet láttak az fMRI-szkennerben.

A „brain decoder” két ágon dolgozik: külön próbálja megbecsülni a kép szerkezetét, például a színek és formák elhelyezkedését, valamint a tartalmát, például azt, hogy banánok láthatók egy tányéron. Ezután egy diffúziós modell állítja elő a képet. Mivel kevés volt a rendelkezésre álló agyi adat, a kutatók egy ellenkező irányú kódolót is betanítottak, amely képekből jósol agyi aktivitást; a két modell egymást javítja. A lehetőség ugyanakkor komoly etikai kérdéseket vet fel, mert hasonló módszerrel elvileg beleegyezés nélkül is következtetni lehetne valaki belső képeire vagy gondolataira.