Külső kutatók sérülékenységeket találtak az OpenAI ellenőrző rendszerében
A METR és a Redwood Research háromhetes kísérleti vizsgálatban tesztelte az OpenAI belső, úgynevezett misalignment-monitoring rendszerét, amelynek feladata annak észlelése, ha egy mesterségesintelligencia-modell az emberi érdekekkel és értékekkel ellentétesen viselkedik. A két nonprofit szervezet július 21. és augusztus 11. között egy-egy kutatót delegált a vállalathoz. Ők hozzáférhettek az OpenAI belső kódjához, dokumentációjához és néhány technikai munkatárshoz, de a helyszínen felügyelt körülmények között, a vállalat által biztosított, az épületet el nem hagyó eszközökön dolgoztak.
A külső értékelők több új sérülékenységet azonosítottak. Az egyik feltárt módszer lehetővé tehette volna, hogy MI-ügynökök az ellenőrzés elől több száz korábbi műveletüket elrejtsék, ami jelentősen korlátozhatta volna a monitorozás megbízhatóságát. Az OpenAI közlése szerint az éles, vagyis a ténylegesen használt védelmi rendszereket érintő hibákat kijavították.
A METR és a Redwood egy 61 oldalas belső jelentést adott át a vállalatnak, a nyilvánosság számára azonban egyelőre csak magas szintű összefoglalót közölt. Indoklásuk szerint a pilot nem az OpenAI ellenőrző rendszerének teljes körű, nyilvános átláthatóságát szolgálta. A vizsgálat egyúttal annak tesztje is volt, hogyan működhet a külső kutatók mélyebb hozzáférése a vállalat infrastruktúrájához. Sam Altman korábban „munkavállalói szintű” hozzáférést ígért független értékelőknek, miközben továbbra is nyitott kérdés, hogy ezeket a szervezeteket ki finanszírozza, és kinek tartoznak majd beszámolási kötelezettséggel.
Folytasd az appban — szavazz és szólj hozzá ➔