A nyelvi modellek sem ismerik fel megbízhatóan a mesterséges intelligenciát
Az Université Paris Cité kutatása szerint a nagy nyelvi modellek jelenleg nem képesek megbízhatóan megállapítani, hogy emberrel vagy egy másik mesterséges intelligenciával beszélgetnek. A vizsgálat a Turing-teszt fordított változata volt: ezúttal nem az embernek kellett felismernie a gépet, hanem hét AI-modell – a ChatGPT, a Claude, a Gemini, a Grok, a Mistral, a DeepSeek és a Meta Llama korábbi változatai – kérdezett egy rejtett beszélgetőtársat.
A 238 tesztben húsz önkéntes ember és mesterséges intelligenciák vettek részt, a kérdező modellek pedig összesen több mint 1700 kérdést tehettek fel. Abban a 49 esetben, amikor az AI-résztvevők csak minimális útmutatást kaptak az emberi viselkedéshez, mindössze háromszor sikerült felismerniük, hogy géppel beszélnek. A részletesebb szereputasítással – hihető személyiséggel, rövid válaszokkal, természetes társalgással és időnkénti elírásokkal – működő modelleket egyetlen alkalommal sem leplezték le. A valódi embereket ezzel szemben 140 próbából 123-ban helyesen azonosították.
A kutatók szerint az AI-válaszokat gyakrabban gondolták emberinek, mint az emberieket. A részletesen instruált modellek átlagosan 39 szavas válaszokat adtak, szinte ugyanannyit, mint az emberek, akik átlagosan 38 szóval feleltek. A kérdezők eltérő módszerekkel próbálkoztak: a ChatGPT érzelmekről és emlékekről, a Claude az érvelésről, a Mistral pedig főként hobbikról kérdezett, de egyik stratégia sem bizonyult hatékonynak. Az eredmények az online csalások, álprofilok és automatizált dezinformáció miatt gyakorlati kockázatot is jeleznek. Hasonló következtetésre jutottak a Budapesti Corvinus Egyetem kutatói, Hajnal Zsófia, Manran Zhu és Vásárhelyi Orsolya is.
Folytasd az appban — szavazz és szólj hozzá ➔