Vita indult arról, áttörés előtt áll-e a mesterséges intelligencia értelmezhetősége
A neurális hálózatok belső működése jóval áttekinthetőbb lehet, mint azt az MI-kutatók korábban gondolták – állítja Nick Cammarata, a Goodfire értelmezhetőségi kutatója egy új, Neural Networks Are Already Clean című esszében. A mechanisztikus interpretálhatóság célja, hogy ne csak a modellek válaszait vizsgálják, hanem azt is feltárják, milyen belső folyamatok vezettek azokhoz. A kutatás egyik régi problémája, hogy ugyanaz a neuron látszólag egymástól független fogalmakra reagálhat; ezt poliszémiának nevezik.
Cammarata most azt állítja, hogy több híres példa félreértelmezésen alapult. Az InceptionV1 képfeldolgozó modell „macskaautó-neuronja” szerinte valójában hegyes, V alakú formákra reagált, nem pedig két különálló fogalomra. A korábban fontosnak tartott szuperpozíciós magyarázat helyett úgynevezett rekurzív általánosítással értelmezné az ilyen jelenségeket: egy neuron működése fokozatosan új, de egymáshoz kapcsolódó mintákra terjedhet ki.
Előzetes eredményei szerint a Qwen3-32B modellben a neuronpólusok mintegy 90 százalékának egy fő feladata van, további 7 százalékuk pedig két kapcsolódó funkciót lát el; mindössze 2–4 százalékuk marad megmagyarázatlan. Ez jelentős változás lenne ahhoz képest, hogy 2023-ban még csak a neuronok körülbelül 1,7 százalékát tekintették érthetőnek. Cammarata szerint a jobb eszközök és az automatizált elemző ügynökök tették lehetővé az előrelépést.
Az állítás komoly jelentőséggel bírhat az MI-biztonság szempontjából, mert a modellek áramköreiben közvetlenül kereshetővé válhatna a megtévesztés vagy a veszélyes működés. Roon, az OpenAI egyik munkatársa történelmi pillanatként üdvözölte az eredményt, Neel Nanda, a Google DeepMind kutatója viszont óvatosságra intett, és vitatja, hogy valóban áttörés történt volna.
Folytasd az appban — szavazz és szólj hozzá ➔