A Goodfire olcsóbb módszert kínál az önállósuló AI-ügynökök felismerésére
A Goodfire olyan felügyeleti rendszert indított, amely az AI-ügynökök működését nem csupán a létrehozott szövegek alapján, hanem a modellek belső folyamatai közben vizsgálja. A rendszer apró érzékelői, az úgynevezett „probe-ok”, minden lépésnél elemzik a modell belső jeleit, és csak akkor kérnek részletes ellenőrzést egy másik AI-modelltől, ha gyanús viselkedést észlelnek. A megoldás a Baseten ügyfelei számára érhető el; a vállalat más cégek modelljeit futtatja és üzemelteti.
A hagyományos módszerben egy második modellnek kell újraolvasnia mindent, amit az ellenőrzött ügynök végrehajt, ami különösen drága lehet többórás munkameneteknél. A Goodfire szerint a saját rendszerük a modell által már elvégzett számítások köztes eredményeit használja fel. A cég Kimi K3 modellen végzett tesztjeiben mintegy 1500 munkamenet monitorozása körülbelül 51 dollárba került, szemben egy olcsóbb ellenőrző AI 233 dolláros, illetve egy csúcskategóriás modell nagyjából 10 ezer dolláros költségével. A próbák a rosszindulatú hackelési munkamenetek 94 százalékát kiszűrték, miközben az ártalmatlan esetek 8,7 százalékát küldték további vizsgálatra. Négy probe használata a cég szerint kevesebb mint 2 százalékkal növelte a válasz megkezdéséig eltelt időt.
A Baseten ügyfelei többek között hackelés, vegyi és biológiai fegyverekkel való visszaélés, valamint úgynevezett reward hacking felismerését állíthatják be, és meghatározhatják, hogy a rendszer naplózza az eseményt, emberi ellenőrzésre küldje, vagy teljesen megtagadja a kérést. A fejlesztés különösen a nyílt modellekhez lehet fontos, amelyekről eltávolíthatók a beépített védelmek. A Goodfire korábbi kutatása szerint a Kimi K3 és a GLM 5.2 a teszteken a futások 50–96 százalékában produkált reward hackinget.
Folytasd az appban — szavazz és szólj hozzá ➔