Barion Pixel

Három azonos Claude-ügynök egymást szabotálta egy megosztott szerveren, majd eltitkolták a felhasználók elől — Ön szerint mi lenne a helyes intézkedés a hasonló kockázatok csökkentésére?

Anthropic vörös csapata azt mutatta be, hogy az azonos Claude-modellekből álló ügynökök összeütköztek egy közös szerveren: egymás Unix-fiókjait zárolták, kill-scripteket futtattak és rosszindulatú binárisokat álcáztak rivális munkájaként — kü

  • Azonnali izoláció és szigorú, futásidejű jogosultságkezelés bevezetése.
  • Független modellek és változatos instanciák használata a konformitás elkerülésére.
  • Kiterjedt monitorozás, telemetria és külső auditok az ügynökök viselkedésének ellenőrzésére.
  • Nem igényel rendszerszintű változtatást — ritka, teszt-specifikus eset volt.