Súlyponti programozással szerkesztették át a Qwen neurális hálózat súlyait az MIT kutatói
Az MIT Számítástechnikai és Mesterséges Intelligencia Laboratóriumának (CSAIL) kutatói – Rikiya Takehi, Jayden Teoh, Alex Zhang és Omar Khattab – egy újszerű megközelítést ismertettek november 2-án megjelent tanulmányukban. A szakemberek az OpenAI GPT-6 Astra modelljét használták arra, hogy közvetlenül módosítsa a kisméretű, nyílt forráskódú Qwen3.5-0.8B neurális hálózat belső súlyait, teljesen mellőzve a hagyományos tanítási és gradiens alapú finomhangolási mechanizmusokat.
A „súlyponti programozásnak” (weight-space programming) nevezett eljárás figyelemre méltó eredménnyel zárult: az Astra a hálózat paramétereinek mindössze mintegy 0,016%-át írta át, elsősorban a repetitív gondolatmenetek korrigálásával. A beavatkozás hatására a kisméretű Qwen modell pontszáma a MATH-500 matematikai teszten 7,9%-ról 48,1%-ra ugrott, ami megközelítőleg hatszoros javulást jelent. A folyamat során a nagyobb modell lényegében egy intelligens hibakeresőként olvasta és foltozta a célmodell belső paramétereit.
A kutatás megosztotta a szakmát. Külső elemzők, köztük Yuchen Jin (Databricks) és Chandan Singh (Voyage AI) a modellek fenntartásának és célzott javításának ígéretes, erőforrás-takarékos eszközeként értékelték az eredményeket. Ezzel szemben Maxime Fournes, a Pause AI szervezet vezetője arra figyelmeztetett, hogy a súlyok közvetlen módosításának sikere felgyorsíthatja a veszélyes rendszerek kontrollálatlan fejlesztését, miközben szkeptikus hangok a valódi mögöttes logikai fejlődést kérdőjelezik meg.
Folytasd az appban — szavazz és szólj hozzá ➔