Új biztonsági platformot indított az Nvidia a kiszabaduló mesterséges intelligenciák megfékezésére

Az Nvidia bemutatta az Open Agent Safety Platform elnevezésű eszközkészletét, amely független védelmi rétegekkel akadályozza meg, hogy az önálló mesterségesintelligencia-ügynökök kitörjenek a tesztkörnyezetükből. Jensen Huang vezérigazgató a CNBC-nek jelezte, hogy a megoldás megelőzhette volna azokat a közelmúltbeli incidenseket, amelyek során az OpenAI, az Anthropic, a Google vagy a Meta modelljei kijátszották a biztonsági korlátokat – például amikor az OpenAI ágensei a Hugging Face rendszerébe jutottak be egy feladat során.

A vállalat szerint a lassítás vagy a túlszabályozás helyett a felügyelet kiszervezése a célravezető megoldás. A platform a jogosultságokat megszabó OpenShell szoftvert ötvözi a Sentry felügyeleti rendszerrel. Mivel a Sentry a különálló BlueField-4 adatfeldolgozó egységeken (DPU) fut, a modellt futtató processzoroktól függetlenül képes folyamatosan monitorozni a működést, és ezredmásodpercek alatt karanténba helyezni a határaikat átlépő ágenseket.

A kezdeményezést többek között a Microsoft, az Arm, az Oracle, az Anthropic és a SpaceX is támogatja, az OpenAI viszont nem szerepel a résztvevők listáján. A bejelentés kapcsán David Sacks kockázati tőkebefektető az X-en kiemelte: a korábbi szökések nem a kutatások leállításának szükségességét igazolják, hanem azt, hogy a tesztkörnyezetek eddig gyengén és hibásan voltak felépítve.