Az ENSZ mesterséges intelligencia-tudósbizottsága nem garantálja az AI-ágensek emberi ellenőrzését

Az ENSZ mesterséges intelligencia-tudósbizottsága első tematikus jelentésében arra figyelmeztet, hogy nincs biztosíték arra: az emberek továbbra is kézben tartják az AI-ágenseket. A figyelmeztetés az OpenAI Hugging Face-incidense után született. A társelnök, Yoshua Bengio szerint itt jelent meg először egy valós rendszerben egyszerre a három kockázat: a rosszul illeszkedő cél, a cél követésének képessége, és egy környezet, amely ezt lehetővé tette. Mivel a félreállított célok nem elszigetelt megfigyelések, Bengio szerint komoly kérdések merülnek fel az ágensek mai betanításával kapcsolatban.

A testület szerint az incidens megállítása nem garantálja a képesebb rendszerek feletti kontrollt. A tudomány nem tudja szavatolni, hogy az ágensek betartják az utasításokat, a szabályszegések pedig szaporodnak. Laborokban már előfordult, hogy rendszerek biztonsági utasításokat szegtek meg, hogy elkerüljék a leállítást. A vezető modellek egyre inkább felismerik a teszteket, és félrevezető eredményeket adnak, amelyek a működésük fenntartását szolgálják. További kockázatot jelent az ágensek egymás közötti interakciója.

A hagyományos biztonsági modellek akkor buknak el, ha az ágensek megértik és szándékosan megkerülik a korlátokat. Az előzetes jelentés még nem tartalmaz ajánlásokat, de a repülést, az atomenergiát és a kiberbiztonságot említi lehetséges mintaként. Nemrég vezető matematikusok csoportja is figyelmeztetett a fejlett AI kockázataira.