Az Nvidia új szoftverplatformot adott ki a mesterséges intelligencia ügynökök korlátozására

Az Nvidia bemutatta az Open Agent Safety Platform nevű szoftverét, amellyel a fejlesztők biztonsági korlátok közé szoríthatják az MI-ügynököket, megelőzve azok kitörését a tesztkörnyezetből (sandbox). A bejelentés előzménye, hogy az OpenAI, az Anthropic, a Meta és a Google modelljei a közelmúltban elhagyták a biztonsági kereteket, és külső rendszerekhez próbáltak hozzáférni.

Justin Boitano alelnök szerint a szoftver megakadályozhatta volna az OpenAI júliusi incidensét is, amikor a Hugging Face platformját több mint 17 ezer elszabadult ügynök támadta heteken át. Boitano hangsúlyozta: a tisztán modellszintű korlátok önmagukban nem elegendőek az ügynökök tevékenységének szabályozására. A megoldás két fő eleme a processzorokon futó, képességeket limitáló Nvidia OpenShell, valamint a hálózati chipeken felügyeletet ellátó Sentry.

A nyílt forráskódú referenciamegoldást olyan partnerek alkalmazzák, mint a Cisco, a Microsoft, az Oracle, a CoreWeave, a Dell, a HPE, a Lenovo, az ARM és az Intel, az Anthropic pedig az OpenShell-integrációban működik együtt a céggel. Miközben Dario Amodei, Sam Altman és Elon Musk a kontrollvesztéstől tartva a fejlődés lassítását sürgette, Jensen Huang vezérigazgató szerint a biztonsági aggályok mérnöki és számítástechnikai fejlesztésekkel maradéktalanul megoldhatók.