A C2C a KV-gyorsítótárakon keresztül engedi az AI-modellek közötti kommunikációt

Több nagy nyelvi modell együttműködésekor a munka átadása általában szövegen keresztül történik: az első modellnek tömörítenie kell, amit tud, a következőnek pedig rekonstruálnia kell ezt. A Cache-to-Cache (C2C) eljárás, amelyet a Tsinghua Egyetem és más kínai intézmények kutatói javasoltak, ehelyett a modellek belső kulcs–érték (KV) gyorsítótárait használja kommunikációs közegként. A kísérletekben a C2C a szöveges átadáshoz képest körülbelül 3,1–5,4 százalékponttal javította a pontosságot, és csökkentette a késleltetést.

A munka az ICLR 2026 konferencián jelent meg; szeptemberben a kutatók „agent-managed KV-Cache” implementációt és egy kiszolgáló rendszert ígértek. A többmodelles rendszerek lehetnek együttműködők (szerepek, részmegoldások cseréje) vagy útválasztósak (képesség és költség szerint váltanak). A szöveges híd három gondot okoz: információvesztést a magas dimenziós belső állapot tömörítésekor; kétértelműséget (például kódoló és író modell HTML-dokumentumnál, ahol a `<p>` szerkezeti helye nem jön át pontosan); valamint extra inferenciaköltséget, mert az üzenetet tokenenként kell generálni, majd a fogadónak a hosszabb kontextust feldolgoznia.

A C2C a prefill szakaszban létrejövő KV-gyorsítótárra épít. Mindkét modell ugyanazt a kontextust dolgozza fel: a „Sharer” gyorsítótárát egy betanított fuser a „Receiver” reprezentációs terébe képezi, összevonja a fogadó saját cache-ével, egy tanult kapu pedig azt szabályozza, mely rétegek kapják a plusz információt. Útválasztásnál így nincs szükség köztes szöveges üzenetre; együttműködésnél a szöveg mellé lép egy második csatorna.