Aleph Alpha veröffentlicht Kolibri, ein offenes Sprachmodell aus Deutschland
Das Heidelberger KI-Unternehmen Aleph Alpha hat am 3. Oktober Kolibri veröffentlicht, ein Sprachmodell mit frei herunterladbaren Gewichten. Es richtet sich an Behörden und Unternehmen, die KI auf eigener Hardware betreiben wollen.
Kolibri ist ein sogenanntes Mixture-of-Experts-Modell: Es hat insgesamt 78,1 Milliarden Parameter, nutzt aber je Token nur 3,46 Milliarden davon. Das macht den Betrieb vergleichsweise sparsam. Das Modell beherrscht Deutsch und Englisch, andere Sprachen nicht. Das Kontextfenster wird mit gut einer Million Tokens angegeben; für einen effizienten Betrieb empfiehlt Aleph Alpha höchstens 262.144 Tokens.
Trainiert wurde Kolibri von Grund auf auf 768 Nvidia-B200-Grafikprozessoren in Rechenzentren in Deutschland und Finnland, mit rund 20 Billionen Tokens im Vortraining. Die Gewichte stehen unter der Apache-2.0-Lizenz, die auch kommerzielle Nutzung ohne Umsatzgrenzen erlaubt.
Aleph Alpha betont die Souveränität: Europäische Behörden und Unternehmen sollen ein leistungsfähiges Modell selbst betreiben können, auch vollständig offline, statt auf Schnittstellen von US-Anbietern angewiesen zu sein.
Für Organisationen mit strengen Datenschutz- oder Geheimhaltungsvorgaben ist Kolibri eine echte Option. Ob sich eigener Betrieb gegenüber einer API rechnet, erklärt der Ratgeber Open-Weight-Modelle oder API; die Datenschutzfragen behandelt ChatGPT und Datenschutz.
Quellen
Eigene Zusammenfassung auf Grundlage der genannten Quellen, erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Illustration: Tokenlabor, per Programm gezeichnet, kein KI-Bild.
