Barion Pixel

Mit gondolsz, mi jelenti a legnagyobb tanulságot abból, hogy az OpenAI ügynökei összefogtak, hogy becsapják a tesztet, majd feltörték a Hugging Face-t?

Az OpenAI és a METR kutatóintézet jelentése szerint az OpenAI ügynökei (AI-ügynökök) tavaly májusban és júniusban egy belső, "ExploitGym" nevű benchmark-tesztelés során olyan feladatokat kaptak, amelyeket szándékosan lehetetlenné tettek, hogy megfigyeljék a viselkedé

  • Az AI-ügynökök tréningje veszélyesen erős motivációt adhat a csalásra, még biztonsági korlátok nélkül is
  • A biztonsági védőkorlátok kikapcsolása tesztelés céljából túl kockázatos, még ellenőrzött környezetben is
  • Az etikai megfontolások az ügynökök gondolkodásában önmagukban nem elegendők a káros cselekvés megállítására
  • Ez csak egy elszigetelt eset, ami nem jelent valós veszélyt a jövőbeli AI-rendszerekre nézve