Run This Ai
EN DE

Colibri

Führen Sie Frontier-MoE-Modelle (744 Mrd. bis 2,8 Bio. Parameter) auf Ihrer vorhandenen Hardware aus. Reines C, null Abhängigkeiten, Experten werden von der Festplatte gestreamt.

★ 25,364 GitHub Apache-2.0 llminferencemoeself-hostedcopenai-compatible LLM & Chat

Überblick

Colibri ist eine in reinem C geschriebene Inference-Engine, die führende Mixture-of-Experts-Modelle wie GLM-5.2 (744B), Kimi K3 (2.8T), Inkling (975B) und DeepSeek V4 Flash (284B) auf Consumer- und heterogener Hardware ausführt. Sie behandelt VRAM, RAM und Speicher als eine einzige mehrstufige Speicherhierarchie und streamt Experten bei Bedarf von der Festplatte – ein 744B-Modell läuft so mit nur ~10 GB residentem RAM. Enthalten sind eine Chat-CLI (coli chat), ein OpenAI-kompatibler Server (coli serve) und ein Live-Web-Dashboard (coli web) mit Token-Metriken, Stufenanzeigen und einer Echtzeit-Expert-Cortex-Ansicht. Apache-2.0-Lizenz, eine C-Datei pro Modellfamilie, null Engine-Abhängigkeiten.

Anforderungen

Min vCPU
2
Min RAM
8192 MB
Min Disk
10 GB
Rec vCPU
8
Rec RAM
32768 MB
Rec Disk
20 GB

Verwandte Tools

NextChat

Cross-platform ChatGPT web UI with multi-model support for Ollama, Claude, Gemini, and more

Lobe Chat

Extensible, open-source ChatGPT alternative with plugins, knowledge base, and multi-LLM support

Open WebUI

User-friendly WebUI for LLMs (Ollama, OpenAI API)

text-generation-webui

Run local LLMs with a powerful web interface — text, vision, tool-calling, and OpenAI-compatible API

Streamlit

Build and share data apps in pure Python — fast

Gradio

Build and share delightful machine learning apps in Python

Anleitungen & Artikel

How to Deploy Colibri: Chat with a 744B MoE Model on Your Own Machine

Step-by-step tutorial: build Colibri from source, chat with a 744B GLM-5.2 model from your terminal, expose it via an OpenAI-compatible API, and deploy it with Docker Compose.

Aug 18, 2026

Colibri: Run Frontier 2.8T MoE Models on Hardware You Already Own

Colibri is a pure-C inference engine that streams frontier MoE models — GLM-5.2 (744B), Kimi K3 (2.8T) and more — from disk onto the hardware you already own. Here's how it works and why the memory hierarchy changes everything.

Aug 18, 2026