A Cohere elől is elrejti az ügyféladatokat a Model Vault

A vállalati adatok biztonsága központi kérdéssé vált a generatív mesterséges intelligenciában, miután az OpenAI és az Anthropic adatkezelése körül komoly aggályok merültek fel – az Anthropic esetében például az Nvidia, a Palantir és a Booz Allen Hamilton is korlátozásokat vezetett be. A kanadai Cohere erre válaszul bejelentette, hogy Model Vault nevű, dedikált kiszolgálási platformján élesítette a hardveres bizalmas számítástechnikát (confidential computing). A bejelentés napján a startup mintegy 20 milliárd dolláros fúziós megállapodást kötött a német Aleph Alphával, torontói és berlini központot hozva létre; Aidan Gomez vezérigazgató szerint a megbízhatóság és ellenőrizhetőség lesz a cég fő ereje.

Hagyományosan a vállalati adatok tároláskor és hálózati átvitelkor titkosítottak, ám a prompt feldolgozásakor a memóriában eddig nyers szövegként jelentek meg, hozzáférhetővé válva a felhőszolgáltatók vagy rendszergazdák számára. A Model Vault ezt a biztonsági rést küszöböli ki: a CPU-oldalon futó Intel TDX vagy AMD SEV-SNP alapú bizalmas virtuális gépeket (CVM) kapcsol össze bizalmas üzemmódban működő Nvidia GPU-kkal. A védelem így a processzor és a grafikus egység közötti adatutakra is kiterjed; a dekódolás kizárólag a hardveresen védett környezetben történik, és csak a megrendelő saját titkosítási kulcsaival lehetséges.

Manoj Govindassamy, a Cohere következtetési kiszolgálásért felelős vezetője elmondta, hogy a védelemért nem kérnek felárat, és még maga a Cohere sem fér hozzá a feldolgozott adatokhoz. A műveletek hitelességét minden következtetésnél hardveres jelentés igazolja, amelyet az Intel Trust Authority regisztrációja támaszt alá. Ráadásul a cég nyílt forráskódúvá teszi a teljes kiszolgáló szoftvercsomagot, hogy független szakértők is ellenőrizhessék: a rendszer semmilyen formában nem naplóz és nem szivárogtat adatokat.