Das deutsche KI-Unternehmen Aleph Alpha hat das Sprachmodell Kolibri veröffentlicht. Das Deutsch-Englische Modell nutzt eine Mixture-of-Experts-Architektur mit 78 Milliarden Parametern, von denen etwa drei Milliarden pro Token aktiv sind. Es unterstützt Kontextfenster von bis zu einer Million Token