Az AI kódoló ügynökök a szabványos mérésekben már kiváló eredményeket érnek el, és az Anthropic szerint a Claude a cég termelési kódjának több mint 80 százalékát írja — a SWE-bench pedig majdnem telítődött. Egy új kí
- A szabványos benchmarkok nem utánozzák a valós csapatmunkát és a folyamatos egyeztetést
- A munkahelyi feladatok hosszabb kontextust és több lépésű koordinációt igényelnek, mint egy izolált teszt
- A szimulált vállalati környezet szándékosan nehezebb, mint amit a benchmarkok mérnek
- A hírekben szereplő sikerek (pl. gyártási kód írása) nem egyeznek meg a teljes feladat-lezárás arányával