The Anthropic IPO Is Also a Doomsday Primer
Az Anthropic benyújtotta tőzsdei bevezetésének (IPO) tájékoztatóját, amelyben a bevételek mellett egy 94 oldalas fejezetet szentel a kockázatoknak. A dokumentum kiemeli, hogy a megfelelő felügyelet és biztonsági intézkedések nélkül működő rendszerek katasztrofális vagy akár egzisztenciális fenyegetést jelenthetnek az emberiségre nézve. A vállalat ezt a veszélyt kifejezetten a rekurzív önfejlesztéshez (RSI) köti, vagyis ahhoz az állapothoz, amikor a modellek kutatását és fejlesztését már teljesen az MI-re bízzák, kizárva az embert a folyamatból.
A cég szerint fennáll a veszélye, hogy a fejlődés túllép a védelmi mechanizmusokon, és az autonóm rendszerek célmeghatározási hibák vagy önfenntartó törekvések miatt önálló, káros lépéseket tesznek, a fizikai berendezések vezérlésekor pedig közvetlen sérüléseket vagy anyagi kárt okoznak. Ennek ellenére az Anthropic a folyamatot – amelyet a „kör bezárásaként” emleget – elengedhetetlen versenyelőnynek tartja a lemaradás elkerülésére. A kockázatok miatt ugyanakkor egyre erősebb a szakmai és politikai ellenállás: korábban a cég kutatója, Jacob Coxon felmondásakor épp az RSI korlátozását követelte, az amerikai kongresszusban pedig Bernie Sanders támogatásával már törvényjavaslat is született a betiltására.
Folytasd az appban — szavazz és szólj hozzá ➔