Az Amazon nyílt forrású döntési modellt mutatott be MI-ügynökökhöz
Az Amazon bemutatta a Strands Decider 2B nevű, nyílt forrású modellt, amelyet MI-ügynökök munkafolyamataiba szánnak. A nagyjából 2 milliárd paraméteres rendszer nem szöveges válaszokat ír, hanem előre meghatározott lehetőségek közül választ, és az egyes opciókhoz valószínűségeket rendel. Így például eldöntheti, hogy egy ügynök végrehajthat-e egy eszközhívást, melyik útvonal illik egy kéréshez, szükséges-e megerősítés, vagy újabb információt kell kérni a felhasználótól.
A modellt az Alibaba Qwen3.5-2B alapjára finomhangolták. A következőszó-előrejelző részt egy „pointer” komponenssel váltották fel, amely a megadott válaszlehetőségeket pontozza; ehhez rank-16 LoRA-frissítést és valamivel több mint egymillió új paramétert használtak. A modell ingyenesen letölthető a Hugging Face-ről, Apache 2.0 licenc alatt, és a képzési anyagok, az adatok, valamint a futtatáshoz szükséges szkriptek is hozzáférhetők. A használathoz azonban a fejlesztőnek kell biztosítania a hardvert vagy a felhőkapacitást.
Az Amazon szerint a rendszer rövid feladatokon tíz milliszekundumos nagyságrendben, egyes gyakori hardvereken pedig 100 milliszekundum alatt hozhat helyi döntést. A JevBench nyilvános részén mért, 19-es verzió nagyjából 72 százalékos pontosságot ért el, miközben a fejlesztők a valószínűségi becslések megbízhatóságát is vizsgálták. Egy RTX 3090-en, 230 helyi kérés alapján a 18-as verzió medián késleltetése 106, a 95. percentilis értéke 296 milliszekundum volt; ez a HTTP-kört is tartalmazta, és nem jelent általános, 100 milliszekundum alatti garanciát.
Folytasd az appban — szavazz és szólj hozzá ➔