Tovább a PegaPollra
PEGAPOLL · HÍREK

A kódoló AI-ügynökök a tesztekben jók, szimulált munkahelyen a feladatok tízed részét sem zárják le

The Decoder (AI) · 2026-11-22
🤖 AI-generált tartalom — A címet és az összefoglalót mesterséges intelligencia készítette automatikusan, emberi szerkesztői átnézés nélkül.

Az AI-kódoló ügynökök a szokásos teszteken már a csúcsponthoz közelítenek, egy új kísérlet azonban először digitális alkalmazottként vizsgálja őket: egy szimulált szoftvercégben kollégák, projekttáblák, chatelőzmények és félbemaradt átadások között kell önállóan fejleszteniük, és megbízhatóan lezárniuk a nyitott jegyeket. Még a Claude Opus 5.5 és a GPT-6 Astra is a feladatok kevesebb mint tizedét fejezi be teljesen. Az Anthropic szerint a Claude a cég éles kódjának több mint 80 százalékát írja, a SWE-benchhez hasonló izolált mérőszámok pedig már majdnem telítettek, a sikerbeszámolók is halmozódnak. A szimulált munkahelyen ez a kép megfordul: az egyértelmű, önálló megbízásokat a modellek gyorsan elvégzik, de folyamatos fejlesztői munkában, hiányos kontextusban elveszítik a fonalat, és nem zárják le megbízhatóan a jegyeket. A kísérlet azt mutatja, hogy a teszteken elért magas pontszám nem egyenlő azzal, hogy az ügynökök kaotikus, napi munkafolyamatban autonóm fejlesztőként működnének.

Folytasd az appban — szavazz és szólj hozzá ➔
Forrás: The Decoder (AI) · innen ahirlevel.hu

Kapcsolódó hírek