Nyílt forrásúvá tette következtetési motorját a Deepseek
A Deepseek nyílt forráskódúvá tette a DeepInfer nevű következtetési keretrendszerét, amely a vállalat V4.1-Flash modelljének gyors, nagy léptékű kiszolgálását biztosítja. A szoftver Apache 2.0 licenc alatt érhető el, így fejlesztők és szervezetek saját rendszereikben is felhasználhatják. A következtetés az a folyamat, amelynek során egy betanított MI-modell feldolgozza a felhasználói kéréseket, majd előállítja a válaszokat.
A DeepInfer a vLLM-re épül, de optimalizált számítási magokat, több chipen futó elosztott feldolgozást és gyorsabb szöveggenerálási eljárásokat is tartalmaz. A Deepseek azt is közölte, hogy jövőbeli modelljeinek kódját szintén nyílt forrásúvá teszi. Emellett kiadta a deepseek-recipe eszközt, amely a hivatalos Deepseek API tokenfeldolgozását utánozza, hogy a saját infrastruktúrán futtatott rendszerek ugyanúgy működjenek.
A vállalat szerint a fejlesztés célja a számítási költségek és az energiafelhasználás csökkentése, valamint az MI hozzáférhetőbbé tétele. Mivel a Deepseek modelljei már eddig is olcsón használhatók voltak, a DeepInfer a futtatás költségeinek további mérséklését célozza. A kiadás ezzel újabb árnyomást helyezhet az OpenAI-ra és az Anthropicra, miközben a kínai és amerikai MI-fejlesztők versenyében stratégiai és politikai jelentősége is lehet.