Az Nvidia nyílt multimodális modelleket adott ki vállalati és helyi MI-ügynökökhöz
Az Nvidia bemutatta a Nemotron 3.5 Super VL nevű, nyílt multimodális modelljét, amelyet folyamatosan működő vállalati MI-ügynökökhöz fejlesztett. A rendszer szöveget, képeket, dokumentumokat és videókat is képes feldolgozni, így olyan feladatokra szánják, mint az üzleti folyamatok több lépéses végrehajtása, az eszközök használata, a dokumentumok elemzése vagy a képalapú információk értelmezése. A modell 120 milliárd paraméteres, de a Mixture-of-Experts felépítés miatt tokenenként csak 12 milliárd aktív, ami mérsékli a számítási igényt.
Az Nvidia szerint a Super VL a Nemotron 3 Ultra pontosságát az ügynöki feladatokban annak nagyjából egyötödnyi paraméterszámával is eléri, egyes Hermes- és LangChain-teszteken pedig meg is előzi azt. A vállalat állítása alapján a hasonló méretű nyílt modelleknél egyetlen GPU-n akár ötször nagyobb áteresztőképességet biztosít. A CharXiv diagramértelmezési benchmarkon 80,8 százalékot ért el, Python-kódfuttatással pedig 84 százalékra javult az eredménye. A rendszer a visszatérő utasításokat és beszélgetési előzményeket gyorsítótárazza, így 16 B200 GPU-n akár nyolcszor több egyidejű felhasználót szolgálhat ki, a válasz első tokenjére várakozás pedig 85 százalékkal csökkenhet.
A Super VL mellett két kisebb, helyben futtatható modell is érkezett. A Nemotron 3.5 Bolt 74B-A9B 24 GB memóriával rendelkező helyi gépekre és peremhálózati eszközökre készült, míg a 4 GB-os Bolt E4B gyors hangasszisztenseket céloz, és még októberben jelenik meg. A modellek nyílt súlyai lehetővé teszik a vállalatok saját adatokkal végzett finomhangolását és saját szervereken való üzemeltetését, ugyanakkor mindegyiket Nvidia-hardverre optimalizálták.