Az Anthropic Message Threads funkciója kb. 35 százalékkal csökkenti a hosszú beszélgetések első token idejét
Az Anthropic nyilvános bétában tette elérhetővé a Message Threads funkciót a Claude-platform Messages API-ján. Eddig minden API-kérésnek újraküldenie kellett a teljes beszélgetéstörténetet; a szálak ehelyett csak az utolsó üzenet óta változott részt továbbítják. A cég szerint 500 ezer és egymillió token közötti kéréseknél ez nagyjából 35 százalékkal csökkenti az első token megjelenéséig eltelt időt. A legnagyobb hasznot a kódoló ágensek, a számítógép-használatot vezérlő ágensek, valamint a sok dokumentumot vagy képet feldolgozó munkafolyamatok látják.
A szál két kérés között titkosítva marad a memóriában, és öt perc inaktivitás után lejár. A tokenfelhasználás nem csökken, mert a Claude továbbra is a teljes beszélgetéstörténetet olvassa. A funkció a Claude-platformon, valamint AWS-en, Microsoft Foundry-n és Google Cloudon működik; a részletek a dokumentációban találhatók.
Folytasd az appban — szavazz és szólj hozzá ➔