Az Nvidia nyílt beszédfelismerő modellt adott ki
Az Nvidia kiadta a Nemotron 3.5 Transcribe nevű, ingyenesen használható, nyílt súlyú beszédfelismerő modelljét, amely legfeljebb 40 nyelven képes hangfelvételek átírására. A rendszer 31 nyelv esetében angolra, illetve angolról fordítani is tud, akár egyórás felvételeket dolgoz fel, és legfeljebb nyolc beszélő hangját különíti el egymástól. Az Nvidia szerint a modell több teszten, köztük a Hugging Face nyílt beszédfelismerési rangsorán is felülmúlja vetélytársait.
A technológiát elsősorban üzleti megbeszélések és orvosi dokumentáció készítésére szánják, vagyis olyan területekre, ahol a beszédből automatikusan előállított, kereshető szöveg már bevett eszköz. A fejlesztők a modellel együtt kiadott, nyílt forráskódú Granary beszédfelismerési adathalmaz második verzióját, valamint a NeMo Speech eszközeit is felhasználhatják arra, hogy egy-egy iparág szakszavait és nyelvi sajátosságait megtanítsák a rendszernek.
A modell fontos korlátja, hogy csak rögzített hanganyaggal működik, élő hangfolyamok átírására nem alkalmas. A 30 milliárd paraméteres rendszer ugyanakkor az Nvidia ígérete szerint egyetlen chipen is futtatható, a Jetson AGX Thor robotikai vezérlőtől és a DGX Spark chiptől kezdve a Blackwell adatközponti lapkákig. A kiadás az AI-hangtechnológiák sűrű időszakában érkezett: a Mistral a Voxtral 3-at, az ElevenLabs a valós idejű Realtime rendszert, a Salesforce pedig a Launa-Omni modellt mutatta be.
Folytasd az appban — szavazz és szólj hozzá ➔