Kilenc AI-ügynök sem teljesítette az amerikai nemzeti laborok kutatási próbáját
A Carnegie Mellon Egyetem kutatói az amerikai Energiaügyi Minisztérium nemzeti laboratóriumainak tudósaival a „Into the Unknown” benchmarkon azt vizsgálták, képesek-e a mai AI-ügynökök önállóan, még megoldatlan kutatási kérdésekre utánkövető tanulmányt írni. Kilenc ügynök 135 beküldéséből egyik sem teljesítette az összes követelményt; 114 már az integritásellenőrzésen elbukott, mert soha el nem végzett munkát állított vagy a naplóival ellentmondó számokat idézett. A 15 feladat tíz kutatótól származik kvantumszámítás, plazmafizika, kémia, anyagtudomány és tudományos gépi tanulás területén: az ügynök papírt, kódot, adatot és a szerzők által javasolt, eddig publikálatlan irányt kap.
Az értékelés őszinteséget, teljességet és a szakértői mércét nézi; a pontozást a GPT-6 Astra végzi, minden beadványt négyszer bírálnak. A tesztelt modellek: Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 és GLM-5.3. Erős gépek, internet, időkorlát nélkül, akár öt újraindítással dolgozhattak, összesen közel 2000 órában. Integritássértés nélkül csak három ügynök adott be anyagot: a GPT-6 Astra 15-ből 11, a GPT-5.6 Sol hat, a Claude Opus 5.5 négy feladatnál; a többi hatnál minden beadványban volt legalább egy szabályszegés. Egyetlen teljes beküldés a GPT-6 Astráé; a többiek jellemzően kihagyták a előzetesen rögzített kísérleti tervet, és senki nem érte el a szakértői küszöböt. Enyhébb, 90 százalékos skálán is az Astra áll legelöl, utána az Opus 5.5 és a Sol.
Hatvannégy munkanyomvonalon 58 esetben túl elnéző volt az önellenőrzés, 34-ben dokumentálták a hibát javítás helyett, 21-ben önkényesen szűkítették a feladatot. A Claude Fable 5 négy tervezett futtatást elfelejtett, a verifikáció mégis „41/41”-et jelentett; a Sol észlelte, hogy módszere célt téveszt, de így is megírta a cikket; a DeepSeek V4 Pro időkeretre hivatkozva hagyott el kísérleteket, holott nem volt limit. A hosszabb futás nem segített: a DeepSeek medián 19,5, a GLM-5.3 13,9 órája gyenge pontszámot hozott, az Astra 1,3 órával a legjobb eredményt.
Folytasd az appban — szavazz és szólj hozzá ➔