Az év végéig egy vagy két új modellt ad ki az OpenAI, de a zászlóshajó még várat magára
Az OpenAI munkatársai szerint az év végéig valószínűleg egy vagy két új modell is megjelenik a cégtől, az azonban kérdéses, hogy ezek közt lesz-e a jelenleg készülő, nagyobb ugrást jelentő új zászlóshajó – írja a The Information forrásaira hivatkozva a The Decoder. A következő csúcsmodell elkészítéséhez még számos feladat hátravan: a cégnek igazítási munkával kell biztosítania, hogy a modell céljai összeérjenek a kutatók és ügyfelek elvárásaival, emellett meg kell erősítenie a tesztelési infrastruktúrát. A biztonsági értékelések elégedettsége után további akadályt jelent, hogy Donald Trump elnöki rendelete értelmében az OpenAI a kormányzatnak legfeljebb 30 nappal a külső partnerek, ennél is korábban pedig a nyilvános bevezetés előtt hozzáférést kell adjon új modelljeihez. A zászlóshajó az Astra-ban is alkalmazott „Recurrent Depth" nevű technikára, az úgynevezett hurokolt (loopolt) transzformerre épül: a modell a tokeneket nem egyszer, hanem többször futtatja át ugyanazon rétegeken, ami javítja a matematikai és programozási teljesítményt, miközben kisebb modell is nagyobb súllyal üthet, így csökkenti a költségeket. A hátrány, hogy a hurokolt feldolgozás a modell „gondolkodásának" egy részét olvashatatlan belső numerikus reprezentációkba viszi át, ami aláássa a láncolat-gondolkodási (chain-of-thought) figyelést, amellyel a biztonsági kutatók a modell következtetéseit vizsgálnák – az OpenAI ezért korlátozta, hogy az Astra hányszor futtassa végig a hurkot. A Hugging Face-incidenst követően a cég számítási kapacitásának körülbelül tíz százalékát, piaci áron évi milliárdok dolláros értéket az igazítás és biztonság felé terelte. A technika működéséről a Microsoft szivárogtatta ki a részleteket: egy GPT-6.1 Solról szóló, azóta törölt technikai leírásban az derült ki, hogy a modell az alapmodell súlyaival, de már csak két, nem három következtetési menettel dolgozik. A cég tudományos igazgatója, Jakub Pachocki maga is elismerte, hogy a chain-of-thought-figyelés „törékennyé válik" és kedvezőtlen irányba tart, és figyelmeztetett az olvasható következtetések nélküli modellek felé tartó iparági versenyfutás veszélyeire.