MI-hallucináció sodort közel amerikai katonai művelethez

A CNN pénteki beszámolója szerint idén tavasszal már a levegőben voltak az amerikai katonai repülőgépek, amikor az amerikai tisztviselők ijesztő felfedezést tettek: egy kínai hajó elleni fegyveres műveletet vezérlő hírszerzési jelentést mesterséges intelligencia chatbot hallucinálta. A műveletet az utolsó pillanatban lefújták, így sikerült elkerülni egy lehetséges összeütközést Kínával. A jelentés az iráni háború idején készült, és azt állította, hogy a hajó nukleáris fegyverprogramhoz kapcsolódó alkatrészeket szállít. A téves adatok egy Special Operations Command-elemzőtől származtak, aki egy MI-chatbottal kért egy összefoglalót a nyilvános forrású adatok és a titkosított jelhírszerzés fúziójához; a chatbot hibásan azonosította a hajó rakománylistáját. Az elemző ezután még egyszer használta az eszközt, hogy a hibás megállapításokat hivatalos kinézetű összefoglalóvá formázza, amely aztán végigfutott a parancsnoki csatornákon. Az eset azt az egyre súlyosbodó aggodalmat veti fel, hogy miközben a döntéshozók egyre nagyobb mértékben támaszkodnak a mesterséges intelligenciára, a rendszerek hibái ellenőrzés nélkül juthatnak fel a parancsnoki láncban. A Pentagon az MI-t azzal reklámozza, hogy jelentősen felgyorsítja a „kill chain" folyamatát, hogy a parancsnokok a megfelelő időben reagálhassanak – ám éppen ez a sebesség teszi kockázatossá a megfelelő emberi felügyelet hiányát. „Fontos, hogy a szolgálattevők megértsék a nagy nyelvi modellekben rejlő bizonytalanságot" – mondta Jake Steckler, a GovAI kutatója és volt amerikai hadsereg-tiszt a TechCrunchnak írott válaszában –, különösen az erő alkalmazásához vezető döntésekben, mint a célmegjelölés, a hírszerzési elemzés vagy az operatív tervezés: „Ezeknek a döntéseknek élet-halál következményei vannak." Steckler szerint az incidens nem az MI elutasítására, hanem további óvintézkedések beépítésére kell hogy sarkalljon: az eszközök megfelelő környezetben és megfelelő védővonallal hasznosak lehetnek, ám ha a bevezetés sebességét helyezik minden más elé, olyan események történnek, amelyek csak elidegenítik a katonákat a rendszerektől – és végül éppen ez lassítja majd az elterjedésüket.