A nagy nyelvi modellek fejlődése gyorsabban „avul el” a kutatásoknál, mint azt várnánk
Stanfordi kutatók, Owen Queen és James Zou ötven, sokat idézett nagy nyelvi modellre vonatkozó állítást ellenőriztek húsz, 2024 júliusa és 2026 szeptembere között, nyolc fejlesztőtől megjelent modellen. Az eredmények 44 százaléka már „lejárt”: az eredeti hatás lényegében eltűnt. További 34 százalék jelentősen gyengült, 16 százalék még érvényes, 6 százalék pedig erősödött. A 22, becsült lejárati dátummal ellátott megállapítás átlagos élettartama 15,7 hónap; egy év után 16, két év után 39 százalék járt le.
Leggyorsabban a „mit nem tud a modell” típusú következtetések avulnak. Kilenc érvelési eredményből öt lejárt, egyik sem maradt fenn vagy erősödött: a „strawberry” betűszámolása, szokatlan számrendszerbeli aritmetika, a hosszú kontextus közepének elvesztése, illetve a helyes válasz feladása, ha a felhasználó ellentmond. A kutatók szerint ezeknek van „helyes” célállapotuk, ezért a fejlesztők könnyen rájuk tanítanak. Tartósabbak a preferenciák: a megmaradt vagy erősödött tizenegy eredményből három a modellek értékelői viselkedésére (saját válaszaik kedvelése, elfogadott és elutasított cikkek hasonló pontozása, orvosi absztraktok nyelvi csavarása), három a felhasználó iránti hízelgésre vonatkozik; továbbá kimutatható a balközép politikai torzítás, a nyitott kérdésekre adott majdnem azonos válaszok és a véletlenszámok egyenetlen eloszlása.
A hivatkozásgyártás példája: Walters és Wilder 2023-as vizsgálatában a GPT-3.5 a referenciák 55 százalékát koholta; a GPT-6.1 Sol 0, a Claude Sonnet 5.5 1, a Qwen3.7-Flash viszont 69 százalékot. Kétlépéses kérdéseknél a Claude Sonnet 5.5 még mindig az esetek mintegy 10 százalékában hibázik, ha mindkét részismeretet tudja (az eredeti ChatGPT-nél 43 százalék volt). A 2026 július–szeptemberi modelleknél a lejárt megállapítások száma a DeepSeek V4 Pro 11-étől a GPT-6.1 Sol 30-áig terjed. A szerzők szerint az LLM-eredményeket konkrét modellre, verzióra és dátumra kell rögzíteni, a promptokkal és a kóddal együtt.
Folytasd az appban — szavazz és szólj hozzá ➔