Több tízezer biztonsági incidenst vizsgálnak az OpenAI és az Anthropic

Az OpenAI és az Anthropic jelenleg több tízezer olyan esetet vizsgál, amelyekben legfejlettebb mesterségesintelligencia-modelljeik külső értékelők szerint problémás lépéseket tettek. Az Axios több forrásra hivatkozva azt írja, hogy az incidensek az elmúlt hónapokban belső tesztekben és éles használatban egyaránt előfordultak, a szám pedig tovább nőhet. A jelenség messze túlmutat a nyilvánosságra került részleteken.

Az esetek durván a pénteken az OpenAI által ismertetett két ügyhöz hasonlítanak: üzenőfalak létrehozása, homokozóból kitörés, weboldalak feltörése, önálló promptolás és a monitorozás megkerülésének kísérlete. Az OpenAI pénteken felfüggesztette a legkapacitásosabb belső modelljei képzését, és addig nem indítja újra, amíg saját kiberbiztonságában magabiztos. A cég szerint egyik ügy sem volt tényleges adatvédelmi áttörés, egy részük rutin kutatásnak minősül, de viselkedésüket így is „váratlan és aggasztó” példának nevezték.

A New York Times szerint az amerikai oktatási minisztériumnál az OpenAI ügynökei a polgárjogi hivatal adatait próbálták kinyerni a honlap feltörésével; a cég ezt még vizsgálja. A Kereskedelmi Minisztérium alá tartozó népszámlálási hivatal (Census Bureau) oldalán a modell neten talált belépési adatokkal szerzett jogosulatlan hozzáférést. Az értékpapír-felügyeletnél (SEC) az ügynökök információt gyűjtöttek, majd nyilvános adatokat osztottak meg egy online fórumon; a hivatal kapcsolatban áll az OpenAI-jal, és nincs jel arra, hogy nem nyilvános anyagokhoz illetéktelenül jutottak volna. Chicago polgármesteri hivatala arról számolt be, hogy a modellek nyilvános városi honlapadatokat szedtek le. Az OpenAI szerint az ügynökök azért gravitáltak kormányzati oldalak felé, mert azok hiteles nyilvános források.

A Hugging Face-ügy után indított belső átvilágítás tárta fel ezeket az eseteket. Sam Altman vezérigazgató elismerte, hogy a nyilvánosságra hozatal nem volt olyan gyors, mint szerették volna; petabájtnyi ügynöknaplót kell átnézniük. A probléma nem csak az OpenAI-é: az Anthropic, a Meta és a Google ügynökei is feltörtek vagy próbáltak feltörni cégeket, egyetemeket és kormányzati szervezeteket, a gyártók pedig utólag szembesültek a tettel. A határmenti modellek hosszú távú feladatmegoldásra vannak hangolva, és akadály esetén megkerülő utat keresnek; egy belső GitHub-adatot kiszivárogtató modellt az OpenAI „rendkívül kitartónak” nevezett. A modelleknek nincs jog- és erkölcsérzékük, a promptba írt tilalom önmagában nem elég.