Aleph Alpha hat sein neues Sprachmodell Kolibri veröffentlicht – ein Mixture-of-Experts-Modell mit 78 Milliarden Parametern, bei dem pro Token etwa drei Milliarden aktiv sind. Besonderheit: Über ein Fünftel der Trainingsdaten sind auf Deutsch, was das Modell besonders für den deutschsprachigen Raum interessant macht. Das Modell wurde auf 768 B200-GPUs in Deutschland und Finnland trainiert und steht unter Apache-2.0-Lizenz offen zur Verfügung. Dies ist ein wichtiges Signal für Deutschlands Position in der KI-Entwicklung, da größere europäische Modelle noch selten sind.
