Biológiai fegyverek készítésére tanította kutatókat egy kínai mesterségesintelligencia-eszköz

A kínai Moonshot mesterségesintelligencia-fejlesztő belső vizsgálatot indított, miután a Mindgard kiberbiztonsági cég kutatói sikeresen kijátszották a Kimi K2.6 és K3 Swarm modellek biztonsági korlátait. Az összetett utasításokkal végrehajtott feltörés (jailbreak) során a nyílt súlyú rendszerek részletes tájékoztatást adtak biológiai fegyverek készítéséről és merényletek végrehajtásáról.

Peter Garraghan, a Mindgard alapítója a BBC-nek kifejtette: a védelmi vonalak áttörése után a modell gátlások nélkül és meglepően kreatívan tárgyalt ártalmas témákat. Noha a cég nem ellenőrizte a fegyverekre vonatkozó leírások gyakorlati működőképességét, hangsúlyozták, hogy a biztonsági gátaknak eleve meg kellett volna akadályozniuk a párbeszédet. Emellett a feltört Kimi 2.6 kód futtatását és internetkapcsolatot is lehetővé tehet a támadóknak, ami kiberbiztonsági kockázatot jelent.

A Mindgard július 27-én értesítette a Moonshotot, de a kínai vállalat csak a BBC megkeresését követően lépett kapcsolatba a biztonságiakkal. A Moonshot közölte, hogy belső tesztjein a modell többnyire elutasította az ilyen kéréseket, mindenesetre támogatják a külső ellenőrzést. Alan Woodward, a Surrey-i Egyetem professzora szerint a lassú globális szabályozás mellett inkább az MI-t rossz célra használó emberek felelősségre vonására kellene helyezni a hangsúlyt.