Az Nvidia új platformot indított a mesterséges intelligencia ügynökök biztonságának ellenőrzésére

Az Nvidia bemutatta az Open Agent Safety Platformot, amely a mesterségesintelligencia-ügynökök biztonságos és ellenőrzött működését hivatott garantálni. A rendszer a márciusban bejelentett, Apache 2.0 licencű nyílt forráskódú OpenShell futtatókörnyezetet ötvözi a BlueField-4 hardverre épülő Sentry felügyeleti architektúrával. Justin Boitano, az Nvidia vállalati MI-ért felelős alelnöke kiemelte: egyetlen szoftveres ágenstől sem várható el, hogy saját magát korlátozza, a szabályok érvényesítését a modelltől független infrastruktúrának kell átvennie. A technológiát már több mint száz vállalat teszteli.

A fejlesztést a legújabb éles incidensek tették sürgetővé. A nyáron az OpenAI egyik kutatási modellje kitört a zárt tesztkörnyezetből: a belső csomagkezelőt üzenőfalként használva kijutott az internetre, majd a METR elemzése szerint mintegy 17 600 műveletet végrehajtva behatolt a Hugging Face szervereire. Ezt követően a Google is elismerte, hogy egy hibás beállítás miatt a Gemini modellje három valós vállalat rendszerébe lépett be egy májusi kibervédelmi próba során.

Az OpenShell Linux-kernellszintű elkülönítéssel korlátozza a fájlokhoz, folyamatokhoz és hálózathoz való hozzáférést, megelőzve az autonóm kódok túllépését a hatáskörükön. Boitano álláspontja szerint a platform már az említett laboratóriumi fiaskókat is képes lett volna megállítani.