Rövid összefoglaló a mai The Download tartalmáról- A cikk az LLM-ek következő nagy változásáról: a kilenc éve bevezetett transformer-architektúra kezd korlátokká válni — a sűrű attention mechanizmus költséges hosszú szövegnél, és nehezen tart nyilván
- Új modellek/architektúrák (pl. alternatív attention mechanizmusok)
- Hatékonyabb, skálázható hardver és számítási megoldások
- Jobb hosszú távú memória és információkezelés (sparse, recurrence stb.)
- Vállalati–akadémiai együttműködés és szigorúbb kutatási szabályozás