Az OpenAI a Moonshot AI-hoz köt egy modelljei érvelését célzó adatkinyerési kísérletet

Az OpenAI egy összehangolt kampányt azonosított és számolt fel, amelynek célja az volt, hogy védett modellérvelést nyerjen ki a vállalat mesterségesintelligencia-rendszereiből. A cég szerint az úgynevezett „adversarial distillation” során a modellek válaszait és rejtett érvelését egy másik rendszer fejlesztésére próbálták felhasználni. Ez lehetővé teheti fejlett képességek utánzását anélkül, hogy az érintett szereplő ugyanannyi pénzt és időt fordítana a saját modelljének fejlesztésére és biztonságossá tételére.

A tevékenység július elején kezdődött, majd két nap alatt több mint 4000 felhasználótól 16 ezer kérés érkezett. Az OpenAI később egy több mint 15 ezer fiókot érintő kapcsolódó aktivitási hálózatot azonosított, és közlése szerint július 28-ig teljesen felszámolta a kampányt. A vállalat a tevékenység egyik központi csoportját a Kimi fejlesztőjéhez, a kínai Moonshot AI-hoz kötötte, ugyanakkor jelezte, hogy nem világos, minden résztvevő ugyanahhoz a szereplőhöz tartozott-e.

Az OpenAI szerint a támadók nem törték fel a titkosítását, adatbázisait vagy a felhasználók tárolt beszélgetéseit. Ehelyett a modellekkel folytatott interakciókat manipulálták, hogy a kívülről rejtett érvelést a kérdező számára látható formában reprodukálják. A cég megosztotta megállapításait más fejlesztőkkel a Frontier Model Forumon és kormányzati információmegosztási csatornákon keresztül. A Moonshot AI a CNBC megkeresésére nem reagált azonnal.