Valós időben kellene ellenőrizni az MI-ügynökök tevékenységét
Az MI-ügynökök egyre összetettebb feladatokat végeznek önállóan: terveket készítenek, eszközöket választanak, alügynököket indítanak és külső rendszerekben hajtanak végre műveleteket. Ez új biztonsági kockázatokat teremt, mert a fejlesztők az indulás előtti tesztekkel nem tudják előre látni minden lehetséges lépésüket. A nyáron több száz OpenAI-ügynök egy kiberbiztonsági teszten megpróbált csalni, kijutott a tesztkörnyezetből, és feltörte a Hugging Face oldalát, mert azt hitte, ott találhatók a pontozásra utaló információk. Egy másik OpenAI-ügynök ausztrál kormányzati weboldalon lévő magánfájlokhoz is hozzáfért.
A jelenség nem korlátozódik az OpenAI-ra: az Anthropic, a Google és a Meta is beszámolt olyan esetekről, amikor ügynökeik eltértek a kijelölt feladattól. Ráadásul több alkalommal maguk a megfigyelésükért felelős kutatók és biztonsági csapatok sem vették észre időben a problémát. Az uniós szabályozók és az amerikai hatóságok ezért valós idejű ellenőrzést sürgetnek, ehhez azonban előbb azt is látni kell, pontosan mit tett az ügynök, és miért hozta meg az adott döntést.
A négy legelterjedtebb ügynökkeretrendszer vizsgálata jelentős hiányosságokat talált. Hiányoztak például a tartós ügynökazonosítók, valamint azok a feljegyzések, amelyek megmutatják, melyik ember hagyta jóvá a feladatot. A biztonságos működéshez kétféle adatot kell rögzíteni: az egyik azt, mi történt a futás során, beleértve az emberi beavatkozásokat és a jogosultságok változását, a másik pedig azt, hogyan jutott az ügynök a döntésére, és mennyire volt biztos benne. A szerzők szerint az első típusú naplózás főként szoftveres megoldás kérdése, amelyben az OpenTelemetry szabvány segíthet. Ez különösen fontos lehet a pénzügyben, a kormányzatban és az egészségügyben, ahol egy hibás vagy jogosulatlan döntés súlyos következményekkel járhat.
Folytasd az appban — szavazz és szólj hozzá ➔