Széles körben elérhetővé vált az OpenAI Decisions API modellje
Az OpenAI széles körben elérhetővé tette Decisions API nevű döntési modelljét, amellyel a fejlesztők előre megadott lehetőségek közül választhatnak, és a döntéshez megbízhatósági értéket is kaphatnak. A szolgáltatás egy olyan új modellkategóriába lép be, amelyet a TypeSafe Jevje tett ismertté: ezek a rendszerek bizonyos munkafolyamatokban a nagy nyelvi modellek gyorsabb és jóval olcsóbb alternatívái lehetnek.
Az OpenAI termékfelelőse szerint a fejlesztés alapját a ChatGPT Luna modellje adta, amelyet az inferencia felgyorsítására és a költségek csökkentésére alakítottak át. A válaszidő így az eredeti 1–3 másodpercről 100–180 ezredmásodpercre csökkent. A Decisions API-t szeptember 29-én, a fejlesztői napon jelentették be, csütörtöktől pedig minden ügyfél számára elérhető. A nyilvános változat hang- és képfeldolgozási lehetőségeket is kapott, az OpenAI pedig földrajzilag igyekezett elhelyezni az erőforrásokat a kisebb késleltetés érdekében.
A Box, a Datadog, a Ramp és a Speak kezdeti tesztjeiben a modell nagyobb áteresztőképességet tett lehetővé. A Speak szerint az egyes műveletek közötti idő 1,4 másodpercről 0,13 másodpercre esett. A teljesítmény azonban feladatonként változik: a sebesség, az ár, az intelligencia és a kalibráció eltérő súllyal számíthat. A benchmarkok alapján az OpenAI modellje egyelőre elmarad a Jevtől és más új versenytársaktól, kép- és hangalapú feladatokban viszont előnyt jelenthet a Luna képessége.