Az Nvidia új nyílt modellje átírja, fordítja és elemzi a beszédet
Az Nvidia bemutatta a Nemotron 3.5 Transcribe nevű nyílt beszédfelismerő modelljét, amely egyetlen rendszerben készít átiratot, felismeri a beszélőket, fordít, összefoglal, és kérdésekre is válaszol a felvétel tartalmáról. A modell 40 nyelven ír át beszédet, ezek közül 31-et angolra vagy angolról fordít, 13 nyelven pedig a beszélők azonosítására is képes. Legfeljebb egyórás, maximum nyolc szereplős felvételeket kezel, és szöveges utasításokkal irányítható: ugyanabból a meetingből készíthet névvel ellátott jegyzőkönyvet, angol fordítást vagy döntési összefoglalót.
A rendszer 30 milliárd paraméteres, de egy feldolgozási lépésben csak mintegy 4 milliárdot aktivál, így egyetlen Nvidia GPU-n is futtatható. Az Nvidia szerint egy RTX PRO 6000 Blackwell Server Edition kártyán, NVFP4 pontossággal 100 órányi hanganyagot három percnél rövidebb idő alatt dolgoz fel. Az angol nyelvű nyílt ASR-rangsorban 5,33 százalékos átlagos hibaaránnyal első lett, miközben aktív paramétereinek száma a vezető konkurens körülbelül hatoda.
A modellhez a vállalat a Granary v2 adatkészletet is kiadta, amely 48 nyelven mintegy 844 ezer órányi beszédet tartalmaz. A fejlesztők saját hanganyagaikhoz is kapnak adat-előkészítő és finomhangolási eszközöket. Egy indiai orvosi beszédanyagon a célzott finomhangolás 30,8-ról 11,8 százalékra csökkentette a hibaarányt, de az Nvidia szerint a neveket, a beszélőváltásokat és a válaszokat továbbra is érdemes ellenőrizni. A kérdés-felelet funkciót angolul tanították, a modell pedig csak rögzített hanganyaggal működik.
Folytasd az appban — szavazz és szólj hozzá ➔