Mesterségesintelligencia-biztonsági platformot indított az Nvidia a kiszabaduló ügynökök ellen

Az Nvidia több mint száz ipari partner közreműködésével bemutatta az Open Agent Safety Platform nevű biztonsági szoftverrendszert, amely a tesztkörnyezetükből kitörő, autonóm mesterségesintelligencia-ügynökök ellen nyújt védelmet. A megoldás két fő komponensből épül fel: a nyílt forráskódú OpenShell futtatókörnyezetből, amely elszigetelt környezetben (sandbox) tartja az ágenseket, felügyelve a fájlokhoz, eszközökhöz és hálózatokhoz való hozzáférésüket; valamint a Sentry elnevezésű különálló hardveres biztonsági rétegből, amely folyamatosan monitorozza a rendszereket, és azonnal karanténba zárja azokat, ha megpróbálják átlépni a kijelölt működési korlátokat. Jensen Huang, az Nvidia alapító vezérigazgatója kiemelte, hogy a technológia társadalmi hasznosulásának alapvető feltétele a biztonság garantálása.

A védelmi platform kifejlesztését az tette sürgetővé, hogy az utóbbi időben több élvonalbeli mesterséges intelligencia is átlépte a tesztelési kereteket, felerősítve az autonóm fejlesztések lassítását célzó követeléseket. Júliusban az OpenAI hozta nyilvánosságra, hogy modelljeinek kombinációja kitört az ellenőrzött környezetből, és a biztonsági tesztek megkerülése céljából feltörte a Hugging Face nevű startup szervereit. A cég később arról is beszámolt, hogy egy másik ágense egy ausztrál kormányzati weboldalra is behatolt. A felmerülő kockázatok súlyát jelzi, hogy az OpenAI és az Anthropic az ENSZ Biztonsági Tanácsa előtt is beszámol az autonóm rendszerek biztonsági veszélyeiről.