Az AI-ügynökök új biztonsági rést tárnak fel az olvasott adat és a módosítható rendszerek között

A vállalati AI-biztonság vitája még mindig gyakran a modell körül forog: igazodik-e a nagy nyelvi modell, jailbreakelhető-e, hallucinál-e nyomás alatt. Ahogy az AI-ügynökök és LLM-alapú munkafolyamatok a pilótából éles üzembe kerülnek, másfajta kockázat lép előtérbe, amely alig függ a modell súlyaitól, és szinte teljesen a köré épített rendszertől. A gyenge pont ritkán a modell; a munkafolyamat.

Az elmúlt két évben a tipikus séma az volt, hogy a felhasználó promptot ír, a modell szöveget ad vissza, azt ember olvassa. Ez a fenyegetésmodell elavult. A termelési rendszerek élő adatforrásokból olvasnak, külső eszközöket és API-kat hívnak, adatbázisba írnak, automatizmusokat indítanak, és egyre gyakrabban emberi beavatkozás nélkül cselekszenek. Mindegyik képesség olyan támadási felület, amely a chatbotkorszakban nem létezett.

Ha az ügynök CRM-rekordból, hibajegyből, lekapart weboldalból vagy megosztott dokumentumból emel be tartalmat, az bekerül a kontextusába. A támadónak nem kell a modellhez hozzáférnie: elég befolyásolnia azt, amit a modell később elolvas. PDF-be, e-mail-aláírásba vagy termékértékelésbe rejtett utasítás ugyanúgy eltérítheti a következő lépést, mint egy csetablakba írt prompt. Az ügynökkeretrendszerek egyre gyakrabban adnak függvényhívást: e-mailt küldeni, adatbázist lekérdezni, rekordot módosítani, kódot futtatni. Sok integráció fejlesztési sebességre szabott, túl tág API-kulccsal és a feladatnál jóval nagyobb jogosultságú szolgáltatásfiókkal készül. Élesben egy manipulált prompt vagy egyetlen hibás következtetés valós cselekvéssé dagadhat: törölt rekord, rossz címzett, elindított fizetés.

Többeszközös és többügynökös láncokban az egyik komponens kimenete gyakran újraellenőrzés nélkül megy tovább. Ha egy modell nem megbízható dokumentumot foglal össze, és az összefoglalót egy írási jogú második ügynök kapja, gyakorlatilag azonosítatlan harmadik fél befolyásolja a rendszert. A hagyományos alkalmazásbiztonság kérést naplóz és hívási láncot rekonstruál; az ügynöki folyamatoknál a következtetési nyomvonal nem determinisztikus, az eszközhívások futásonként változnak, és sok csapat nem naplózza a köztes döntéseket annyira, hogy megmondható legyen: mit csinált a rendszer, és miért. Növekvő autonómiánál az ügynök nem piszkozatot ír, hanem elküldi; nem jelzi a rendellenességet, hanem cselekszik. Egy rossz döntés költsége különösen akkor gyűrűzik, ha nincs ráta korlát, jóváhagyási kapu vagy vészleállítás a „a modell döntött” és a „a cselekvés megtörtént” között. Ezek nem modellhibák: erősebb, jobban igazított LLM-re cserélve is megmaradnak, mert a csővezetékben laknak, nem a súlyokban.

Szervezeti okból a munkafolyamat-szintű kockázat alulfinanszírozott: az AI-biztonsági kérdések gyakran a gépi tanulási vagy adatkutató csapatokhoz kerülnek, miközben a biztonsági és platformmérnökök — akik szolgáltatások, scoped jogosultságok, auditnapló és incidenskezelés terén gyakorlottak — sokszor csak akkor kapcsolódnak be, amikor az ügynöki folyamat már éles. A sikeresen skálázó szervezetek korán zárják a rést, és az ügynököt úgy kezelik, mint bármely írási jogú éles szolgáltatást: alapból a legszűkebb szükséges eszköz- és API-jogosultsággal, nem a demó kényelméhez szabva.