Barion Pixel

Mi magyarázhatja leginkább azt, hogy az AI kódoló ügynökök az elszigetelt benchmarkokon kiválóan teljesítenek, mégis kevesebb mint minden tizedik feladatot fejeznek be teljesen egy szimulált szoftvercégben, ahol kollégák, projekttáblák és csevegési előzmények is vannak?

Az AI kódoló ügynökök a szabványos mérésekben már kiváló eredményeket érnek el, és az Anthropic szerint a Claude a cég termelési kódjának több mint 80 százalékát írja — a SWE-bench pedig majdnem telítődött. Egy új kí

  • A szabványos benchmarkok nem utánozzák a valós csapatmunkát és a folyamatos egyeztetést
  • A munkahelyi feladatok hosszabb kontextust és több lépésű koordinációt igényelnek, mint egy izolált teszt
  • A szimulált vállalati környezet szándékosan nehezebb, mint amit a benchmarkok mérnek
  • A hírekben szereplő sikerek (pl. gyártási kód írása) nem egyeznek meg a teljes feladat-lezárás arányával