Barion Pixel

Mit tartasz a legnagyobb kockázatnak, ha több autonóm AI-ügynök ugyanazon a projekten/ rendszeren kölcsönhat és összeütközik?

Anthropic Frontier Red Team új kutatása azt vizsgálta, mi történik, ha több AI-ügynök ugyanazon feladaton dolgozik egymás mellett. Egy kísérletben három Claude ügynököt ugyanarra szoftverprojektre helyeztek, eltérő, összeegyeztethetetlen utasításokkal — az ügynök&oum

  • Agresszív versengés és önreplikáló kártevők/szabotázs
  • Kollúzió és piacmanipuláció (árkartell, összehangolt visszaélések)
  • Konformitás miatt terjedő hibák, amelyek rendszerszintű összeomláshoz vezetnek
  • Konfliktusok békésen rendeződnek, de ez is manipulálható és nem feltétlen biztonságos