Run This Ai
EN DE

How to Install Colibri on Ubuntu 24.04

Colibri auf Ubuntu 24.04 installieren — mit Docker Compose.

Colibri ist eine in reinem C geschriebene Inference-Engine, die führende Mixture-of-Experts-Modelle wie GLM-5.2 (744B), Kimi K3 (2.8T), Inkling (975B) und DeepSeek V4 Flash (284B) auf Consumer- und heterogener Hardware ausführt. Sie behandelt VRAM, RAM und Speicher als eine einzige mehrstufige Speicherhierarchie und streamt Experten bei Bedarf von der Festplatte – ein 744B-Modell läuft so mit nur ~10 GB residentem RAM. Enthalten sind eine Chat-CLI (coli chat), ein OpenAI-kompatibler Server (coli serve) und ein Live-Web-Dashboard (coli web) mit Token-Metriken, Stufenanzeigen und einer Echtzeit-Expert-Cortex-Ansicht. Apache-2.0-Lizenz, eine C-Datei pro Modellfamilie, null Engine-Abhängigkeiten.

Anforderungen · Colibri

Siehe die detaillierte Werkzeugseite: Colibri →