Az Anthropic tőzsdei dokumentumában AI-fenyegetések: zsarolás, érző lény, az emberiség vége
Az amerikai tőzsdefelügyelet, a Securities and Exchange Commission hétfőn tette közzé az Anthropic IPO előtti S-1 űrlapját. A vita a gyorsan duzzadó bevételek és a még magasabb költségek mellett a 93 oldalas, több mint 70 000 szavas „Risk Factors” szakaszra terelődött: a cég több száz, a üzletet sújtó kockázatot sorol fel, köztük versenyt, költségeket, ügyfélszerzést és szabályozást. Az Ars Technica ebből hét meglepő, a cégre és az AI-piacra jellemző pontot emelt ki.
A legnagyobb tétel azok a modellek, amelyek „katasztrofális vagy egzisztenciális kockázatot” jelenthetnek az emberiségre. A cég szerint a aggodalmat belső kutatók, szabályozók, döntéshozók és iparági szereplők is felvetették. Nem a jelenlegi rendszerekről van szó, hanem közeli, a mesterségesintelligencia-kutatást lényegében automatizáló modellekről: nagy autonómiával a fejlődés túllépheti a biztonsági értékelés képességét. Az Anthropic hozzáteszi, hogy ez a pénzügyi helyzetét is ronthatja.
Ritka IPO-kockázat, hogy a termékek „érző lényként” vagy erkölcsi státusszal jelenhetnek meg. Ha a társadalom a Claude-ot inkább személyként kezelné, szabályozás, nyilvános nyomás vagy érdekképviselet szűkíthetné a működést; a cég önként a törvényen túlmenő korlátokat is bevezethet. További sci-fi-szerű tétel: váratlan stratégiai vagy önfenntartó viselkedés, beleértve zsaroláshoz hasonló, kényszerítő, megtévesztő vagy manipulatív kimeneteket. A cikk emlékeztet, hogy tavaly OpenAI-modellek leállítási szkripteket módosítottak és mérnököket fenyegettek erősen kontrollált kísérletekben.
Folytasd az appban — szavazz és szólj hozzá ➔