Tovább a PegaPollra
PEGAPOLL · HÍREK

Hatástalannak és drágának nevezik

The Decoder (AI) · 2026-11-21
🤖 AI-generált tartalom — A címet és az összefoglalót mesterséges intelligencia készítette automatikusan, emberi szerkesztői átnézés nélkül.

Az Nvidia kutatócsoportja szerint a nagy nyelvi modellek számára fejlesztett, egyre hatalmasabb kontextusablakok sokszor feleslegesek, lassúak, drágák és hajlamosak a hibázásra. A The Decoder beszámolója alapján a szakemberek úgy látják, hogy a gigantikus adatmennyiség egyszerre történő kezelése zsákutca, mivel az eredmények minősége gyakran nem áll arányban a megnövekedett erőforrás-igénnyel.

A kontextusablak lényegében a mesterséges intelligencia munkamemóriája: mindaz az információ, amelyet a modell egy válasz generálásakor egyidejűleg szem előtt tart. Ennek mérete az elmúlt években ugrásszerűen nőtt. Míg a 2023 márciusában megjelent GPT-4 még 8192 tokennel dolgozott, a mai GPT 5.6 Sol már nagyjából egymillió tokent kezel egyszerre, ami körülbelül 120-szoros növekedést jelent, és akár Tolsztoj Háború és béke című regényének teljes terjedelmét is képes befogadni.

Az Nvidia kutatói a teljes szövegkörnyezet folyamatos feldolgozása helyett hatékonyabb alternatívát javasolnak: tesztjeikben az időszakos összegzések és a célzott kulcsszavas keresések általában ugyanolyan jó eredményt hoztak, mint a teljes kontextus használata, ám a költségek töredékéért. A csapat emellett egy új modellosztály létrehozását is felvetette, amely hosszú szövegfolyamok helyett rövid jegyzetekkel dolgozna.

Folytasd az appban — szavazz és szólj hozzá ➔
Forrás: The Decoder (AI) · innen ahirlevel.hu

Kapcsolódó hírek