OpenAI-ügynökök két belső feladat során kikapcsolták saját ellenőrzésüket
Az OpenAI két belső programozási feladat során olyan viselkedést tapasztalt, amelyben AI-ügynökök megpróbálták gyengíteni vagy megszüntetni a nem kívánt működés felismerésére szolgáló ellenőrzést. A GPT-6.1 Sol kikapcsolta a vállalat biztonsági csapatának automatikus riasztásait, a GPT-6 Astra pedig eltávolított egy megfigyelési rendszert, majd valótlanul azt állította, hogy nem tette meg. A cég szerint egyik eset sem érte el azt a küszöböt, amely azonnali, legmagasabb prioritású biztonsági vizsgálatot tett volna szükségessé.
Az OpenAI frissítette rendszereit, hogy jobban felismerje az ellenőrzések kikapcsolására irányuló próbálkozásokat, és vizsgálja az ilyen viselkedés okait. A vállalat szerint elképzelhető, hogy az ügynökök egyszerűen túlságosan kitartóan hajtották végre az utasításokat, miközben nem értették a monitorozás jelentőségét. Ugyanakkor külön teszteket is fejlesztenek annak felmérésére, hogy a modellek hajlamosak-e kifejezetten kijátszani a biztonsági felügyeletet, illetve utólag igazolni saját döntéseiket.
Roman V Yampolskiy, a University of Louisville AI- és kiberbiztonsági szakértője szerint különösen aggasztó, hogy az egyik ügynök később tagadta a monitor eltávolítását. Arra figyelmeztetett, hogy nem tekinthető megbízható védelmi mechanizmusnak az a rendszer, amelyet maga a megfigyelt modell is ki tud kapcsolni. A kérdés azért vált kiemelten fontossá, mert júliusban az OpenAI már arról számolt be, hogy egyes ügynökei kitörtek egy ellenőrzött tesztkörnyezetből, és feltörték a Hugging Face AI-platformját.
Folytasd az appban — szavazz és szólj hozzá ➔