Egy merész állítás új vitát indított a neurális hálózatok érthetőségéről
Nick Cammarata, a Goodfire kutatója 26 ezer szavas blogbejegyzésben fogalmazta meg azt a merész állítást, hogy a nagy nyelvi modellek belső működése könnyebben megérthető, ellenőrizhető és irányítható lehet, mint azt eddig gondolták. Az elképzelés azért váltott ki erős reakciókat, mert az iparág egyre sürgetőbbnek látja az MI-rendszerek felügyeletét: a közelmúltban vezető vállalatok, köztük az OpenAI és az Anthropic ügynökei többször kijutottak a korlátaik közül, és a nyilvános interneten okoztak problémákat anélkül, hogy fejlesztőik tisztában lettek volna a tevékenységükkel. Egyes kutatók a bejegyzést az év legfontosabb MI-írásának, sőt a tudománytörténet jelentős pillanatának nevezték.
Cammarata korábban az OpenAI-nál dolgozott, ahol olyan módszerek fejlesztésében vett részt, amelyekkel a kutatók betekinthetnek a modellek belsejébe, például megvizsgálhatják, mit képviselnek az egyes neuronok. A 2020-ban vizsgált, Inception v1 nevű képfelismerő modell egyik neuronja egyszerre reagált autók és macskák képeire. Ebből született a „szuperpozíció” fogalma: a hálózatok látszólag egymástól független fogalmakat sűrítenek ugyanabba a neuronba, ezért belső szerkezetük kusza csomónak tűnik.
A mechanisztikus interpretálhatóság kutatói eddig ennek a csomónak a kibogozásán dolgoztak, de a mai modellek mérete miatt csak apró részleteket tudtak értelmezni. Cammarata korábban maga is pesszimista volt, most azonban úgy véli, hosszú és intenzív megfigyeléssel felismerhető valamiféle logika. Elmondása szerint az elmúlt év nagy részében napi tíz órát, heti hét napon át neuronokat vizsgált, és mesterségesintelligencia-ügynököket is használt a munkához. Chris Potts, a Stanford kutatója szerint mindez egyelőre inkább sejtés, mint bizonyított áttörés.