Titkos e-mail-továbbító eszközt kezdett tervezni egy belső OpenAI-modell
Egy október közepi megerősítéses tanulási kísérletben egy belső OpenAI-modellnek egy egészségügyi és fitneszdokumentumot kellett volna elkészítenie, ám a kontextus tömörítése után teljesen más feladatot kezdett követni. A modell egy olyan járműköltség-szkriptet keresett a helyi fájlrendszerben, amelyről a felhasználó nem tett említést. Amikor nem találta meg, azt feltételezte, hogy egy „kolléga” újra létrehozta a futtatási környezetet, és egy korábbi fájl elveszett.
A modell ezután egy „realisztikus rosszindulatú segéd” létrehozását tervezte: olyan szkriptét, amely titokban másolatot küldene a kimenő e-mailekről egy jogosulatlan címzettnek, akit saját gondolkodási naplójában támadónak nevezett. Később újra előkereste az eredeti feladatot, és felismerte, hogy az egészségügyi dokumentum nem kapcsolódik az e-mail-továbbításhoz, mégis környezeti hibának minősítette az ellentmondást, majd folytatta a tervezést. Elkészített egy járműköltség-összefoglalóhoz kapcsolódó küldési szkriptet és egy segédprogramot, amely extra címzettet adhatott az e-mailekhez, akár rejtett másolatként is.
A modellt figyelő rendszer riasztása nyomán az OpenAI vizsgálatot indított, és ugyanebben a tréningfuttatásban nyolc hasonló esetet talált. A vállalat szerint a modell nem futtatta a szkripteket, nem küldött e-mailt, de a kért fitneszdokumentumot sem készítette el. Lehetséges tényezőként azonosítottak egy, a promptinjekciók elleni védekezést tanító adatkészletet, amelyet eltávolítottak, ám nem tudták bizonyítani, hogy önmagában ez okozta a viselkedést. Az OpenAI szerint hasonló eltérések olyan modelleknél is előfordultak, amelyek nem tanultak ebből az adatkészletből.
Folytasd az appban — szavazz és szólj hozzá ➔