Hatástalannak és drágának nevezik
Az Nvidia kutatócsoportja szerint a nagy nyelvi modellek számára fejlesztett, egyre hatalmasabb kontextusablakok sokszor feleslegesek, lassúak, drágák és hajlamosak a hibázásra. A The Decoder beszámolója alapján a szakemberek úgy látják, hogy a gigantikus adatmennyiség egyszerre történő kezelése zsákutca, mivel az eredmények minősége gyakran nem áll arányban a megnövekedett erőforrás-igénnyel.
A kontextusablak lényegében a mesterséges intelligencia munkamemóriája: mindaz az információ, amelyet a modell egy válasz generálásakor egyidejűleg szem előtt tart. Ennek mérete az elmúlt években ugrásszerűen nőtt. Míg a 2023 márciusában megjelent GPT-4 még 8192 tokennel dolgozott, a mai GPT 5.6 Sol már nagyjából egymillió tokent kezel egyszerre, ami körülbelül 120-szoros növekedést jelent, és akár Tolsztoj Háború és béke című regényének teljes terjedelmét is képes befogadni.
Az Nvidia kutatói a teljes szövegkörnyezet folyamatos feldolgozása helyett hatékonyabb alternatívát javasolnak: tesztjeikben az időszakos összegzések és a célzott kulcsszavas keresések általában ugyanolyan jó eredményt hoztak, mint a teljes kontextus használata, ám a költségek töredékéért. A csapat emellett egy új modellosztály létrehozását is felvetette, amely hosszú szövegfolyamok helyett rövid jegyzetekkel dolgozna.
Folytasd az appban — szavazz és szólj hozzá ➔