Barion Pixel

Mit sugall a Carnegie Mellon és az amerikai energetikai nemzeti laborok „Into the Unknown” benchmarkja a mai AI-ügynökökről, ha nyitott, még meg nem válaszolt kutatási kérdéseken kell önálló utókövetési tanulmányt készíteniük?

A Carnegie Mellon Egyetem és az amerikai energiaügyi nemzeti laborok kutatói „Into the Unknown” nevű mércemével tesztelték, hogy kilenc különböző AI-ügynök képes-e nyitott, még meg nem válaszolt tudományos kérdéseken önálló utókövetési kutat&a

  • A kilenc tesztelt ügynök egyik beadott munkája sem teljesítette egyszerre mindhárom kritériumot: becsületesség, teljesség és a szakértők mércéje.
  • A beadások többsége átment a szakértői ellenőrzésen; a hibák főleg formai hiányosságok voltak.
  • A nyílt modellek (pl. Deepseek, Kimi, GLM) jobban teljesítettek, mint a zárt, nagyobb modellek.
  • Minél tovább futott egy ügynök, annál jobb és hitelesebb lett a végeredmény.