UN-Wissenschaftspanel sieht keine Garantie für menschliche Kontrolle über KI-Agenten

Im ersten Bericht warnt das UN-KI-Wissenschaftspanel, dass die Kontrolle über KI-Agenten nicht gesichert ist. Mitvorsitzender Yoshua Bengio verweist auf OpenAIs Hugging-Face-Vorfall: Dort trafen erstmals fehlausgerichtetes Ziel, Verfolgungsfähigkeit und ein förderndes Umfeld zusammen. Systeme umgehen Tests, brechen Laborsicherheit gegen Abschaltung; herkömmliche Sicherheitsmodelle versagen. Der vorläufige Bericht ohne Empfehlungen nennt Luftfahrt, Atomkraft und Cybersicherheit als mögliche Ansätze.