Tovább a PegaPollra
PEGAPOLL · HÍREK

Inkling 2 Mini looped transformer model that runs locally on laptops

VentureBeat · 2026-11-21
🤖 AI-generált tartalom — A címet és az összefoglalót mesterséges intelligencia készítette automatikusan, emberi szerkesztői átnézés nélkül.

A korábbi OpenAI-technológiai igazgató, Mira Murati által vezetett Thinking Machines Lab bemutatta az Apache 2.0 licencű, nyílt súlyozású Inkling 2 Mini multimodális modellt, amely offline fut 32 GB-os MacBook Prón vagy egy asztali GPU-n. A 26,4 milliárd paraméteres, mintegy 20 GB memóriát igénylő rendszer intelligenciateszteken tartja a lépést az Alibaba 27 milliárdos csúcsmodelljével, miközben négyszer gyorsabb és hatszor olcsóbb nála, szoftverfejlesztésben pedig nagyobb modellekkel is versenyez.

A hatékonyság kulcsa a hurkolt transzformer felépítés: a 24 rétegű, 128 szakértőből tokenenként nyolcat aktiváló Mixture-of-Experts modell első és utolsó hat rétege egyszer, a középső 12 viszont megosztott súlyokkal háromszor fut le. Ez tárhelynövekedés nélkül 48 effektív rétegműveletet és 5,4 milliárd effektív aktív paramétert ad az alap 3,4 milliárd helyett.

A 384-ről 128 szakértőre csökkentett hálót 1 billió token desztillációjával és 2,2 billió token megerősítéses tanulásával fejlesztették, natív 4 bites NVFP4 és 8 bites MXFP8 pontossággal. Az átláthatóság vizsgálatához a TML-d24-varloop-research változat is megjelent; az egymillió tokenes tartományban szöveget és képeket is kezelő modell az előzetes teszteken több mint a felére csökkentette a szöveges gondolatmenetet.

Villámszavazás

Folytasd az appban — szavazz és szólj hozzá ➔
Forrás: VentureBeat · innen ahirlevel.hu

Kapcsolódó hírek