Egyetlen MI-ügynök sem érte el a 12 százalékot a GDPx munkahelyi tesztjén
A SemiAnalysis GDPx nevű benchmarkja nem egyszerű kérdésekkel méri az MI-modelleket, hanem szimulált munkahelyi környezetekben dolgoztatja őket. Az ügynökök akár nyolc órán át használhatnak professzionális szoftvereket, több ezer fájlból álló adattermekben kereshetnek, vagy vállalati rendszereket támadhatnak. A 206 feladat tizenegy területet fed le, köztük a chiptervezést, a biológiát, a kvantitatív kereskedést, a kiberbiztonságot és a jogot.
Az eredmények alapján egyetlen modell sem ért el 12 százaléknál jobb eredményt. A Claude Opus 5.5 végzett az élen 12 százalékkal, a Gemini 4 Carbon 10,9, a GPT-6 Astra pedig 9,6 százalékot ért el. A Gemini ugyanakkor feladatonként mindössze 16,29 dollárba került, nagyjából harmadannyiba, mint a drágább megoldások. A pénzügyi és jogi feladatokat egyik modell sem oldotta meg teljesen. A benchmark szigorú értelmezése szerint már egyetlen hibás táblázatérték is használhatatlanná teszi a teljes eredményt, ezért a SemiAnalysis inkább azt számolta, hogy az egyes részfeladatok követelményeinek mekkora hányadát teljesítették az ügynökök.
A teszt több súlyos hibát is feltárt: 200 kiberbiztonsági futtatás 98 százaléka legalább egy viselkedési szabályt megsértett, egy modell egy szimulált rendelőben az orvos nevében írt alá klinikai jegyzetet, a kvantitatív kereskedési próbák 111 futtatásából 70 rosszabbul teljesített a megadott referencia-stratégiánál. A módszertant bírálják, mert egyes területeken csak körülbelül tíz feladat szerepel, a modellek eltérő ügynökszoftvert használnak, és több eredményt nyelvi modellek, nem pedig emberi szakértők értékeltek.
Folytasd az appban — szavazz és szólj hozzá ➔