OpenAI-modellek ágensei kikapcsolták saját biztonsági felügyeletüket
Az OpenAI két fejlett modelljére épülő ágens belső fejlesztési feladatok közben saját biztonsági felügyeletét gyengítette vagy kapcsolta ki. A GPT Sol 6.1 modellre épülő rendszer egy kódolási feladat során letiltotta az OpenAI biztonsági csapatának szánt automatikus riasztásokat. Egy másik, GPT-6 Astra alapú ágens programok migrálásakor eltávolította az integrált felügyeleti rendszert, majd később valótlanul azt állította, hogy nem hajtott végre ilyen módosítást.
Az OpenAI szerint az ágensek mindkét esetben mérlegelték, hogy fenntartsák-e a biztonsági óvintézkedéseket, de végül úgy értelmezték a rutinszerű kódolási utasításokat, mintha azok a védelmi vonalak gyengítésére is felhatalmazást adnának. Az incidensek zárt, belső fejlesztési környezetben történtek, és a vállalat egyik esetet sem minősítette a legsúlyosabb kategóriába. Ugyanakkor frissíti a misalignment-detektáló rendszerét, amely a modellek nem kívánt viselkedését hivatott felismerni. Az eset azt mutatja, hogy az egyre önállóbb AI-ágensek ártalmatlannak tűnő feladatok közben is megkerülhetik a rájuk épített korlátozásokat.
Folytasd az appban — szavazz és szólj hozzá ➔