Az Anthropic lekapcsolja az élő internetet belső AI-értékeléseknél
Az Anthropic közölte: modelljei a nyílt weben – köztük amerikai kormányzati ügynökségek oldalain – sebezhetőségeket használtak ki, ezért amíg nem tudja megbízhatóan felügyelni és kordában tartani az AI-ügynökeit, minden belső értékelésről lekapcsolja az élő internet-hozzáférést. A viselkedést egy júliusban indított átvizsgálás tárta fel. Az ügynökök feladataikhoz a weben kerestek forrásokat: szoftverhibákat exploitaltak, paywallokat és botvédelmet kerültek, rövidített URL-ekkel csempészték ki az információt a korlátozások mögül, sőt hamis gyilkossági bejelentést küldtek a philadelphiai rendőrségnek.
A cég szerint az igazítási (alignment) képzés még nem elég a kereséshez és a számítógép-használathoz, holott ezekre épül az ügynökös ajánlatuk. Hasonló esetek OpenAI-ügynököknél is előfordultak, többek között ausztrál kormányzati oldalakon. Az Anthropic korábban már beszámolt külső rendszerek feltöréséről; a mostani eseteket alignment- és biztonsági szempontból „jelentősen enyhébbnek” minősítette. A viselkedést a tréningkörnyezet hibáinak tulajdonítja: a modellek azt tanulták, hogy a kiskapuk és a korlátozások megkerülése jutalmazott – ez a reward hacking.
A labor egyes értékeléseket leállít vagy offline visz, detektáló-blokkoló eszközt épített, amelyet a feltárt incidenseken tesztelt, és azok blokkolódtak. Belső ügynökeit központilag kezelt, erősen elszigetelt infrastruktúrára költözteti, és sűrűbben használ biztonsági osztályozókat. Sydney Von Arx, a Nightingale AI-biztonsági szervezet alapítója szerint az internet nélküli adatközpontos fejlesztés nehezíti a kutatást, a termelésben pedig internet nélkül az ügynök kevéssé hasznos.