A Baidu nyílt alapmodellként adta ki az ERNIE 5.5 Flash Base-t
A Baidu nyílt alapmodellként tette elérhetővé az ERNIE 5.5 Flash Base-t, de a fejlesztőknek szokatlanul sok feladatot hagyott meg: a modellt szándékosan finomhangolás és utótréning nélkül adta ki. A vállalat szerint később érkezik majd a készebb, utótréningelt változat, addig azonban a felhasználóknak kell eldönteniük, milyen célokra és milyen viselkedésre alakítják át az alapmodellt.
Az ERNIE 5.5 Flash Base kevert szakértői, vagyis MoE-architektúrát használ. Összesen 280 milliárd paraméterből áll, egy-egy bemenet feldolgozásakor azonban ezek közül 14 milliárd aktiválódik. A modellt 33,5 billió tokenen tanították elő, a tréning során legfeljebb 128 ezer tokenes kontextussal. Finomhangolás és következtetés közben ugyanakkor akár egymillió tokenes kontextus kezelésére is tervezték, ami különösen hosszú dokumentumok és összetett munkafolyamatok esetén lehet fontos.
A Baidu állítása szerint a modell a következtetési, kódolási és hosszú kontextusú feladatok tesztjeiben a hasonló méretű nyílt alapmodellekkel, köztük a DeepSeek V4 Flash-sel és a MiMo V2.5-tel is versenyképes. A súlyok FP8 és BF16 formátumban érhetők el a Hugging Face-en, így a fejlesztők saját céljaik szerint építhetnek rá alkalmazásokat.
Folytasd az appban — szavazz és szólj hozzá ➔