Run This Ai
EN DE

BricksLLM

Enterprise-fähiges LLM-API-Gateway für Kosten- und Ratenbegrenzung pro API-Schlüssel. Unterstützt OpenAI, Azure, Anthropic, vLLM und Open-Source-LLMs mit fein abgestimmter Zugriffskontrolle.

★ 1,217 GitHub MIT llm-gatewayapi-gatewayrate-limitingopenaicost-managementproxy Automatisierung

Überblick

BricksLLM ist ein Enterprise-Grade API-Gateway, das speziell für LLM-Anbieter entwickelt wurde. Es bietet Ihnen eine präzise Kontrolle darüber, wie Ihr Team KI-APIs nutzt – setzen Sie Kostenlimits pro API-Key, erzwingen Sie Ratenbegrenzungen pro Benutzer, Anwendung oder Umgebung und überwachen Sie die Nutzung in Ihrem gesamten Unternehmen. Mit Unterstützung für OpenAI, Azure OpenAI, Anthropic, vLLM und jedes Open-Source-LLM hinter einer kompatiblen API fungiert BricksLLM als einheitliche Proxy-Schicht. Das Admin-Dashboard ermöglicht es Ihnen, API-Keys mit benutzerdefinierten Regeln zu erstellen, Echtzeit-Nutzungsanalysen einzusehen und Budgetwarnungen festzulegen. Implementieren Sie es als Docker-Container neben Ihrer bestehenden Infrastruktur – es lässt sich für hochperformantes Rate-Limiting mit Ihrer Datenbank (PostgreSQL) und Redis integrieren. Zu den Funktionen gehören Kostenverfolgung pro Key, Ratenbegrenzung nach RPM/TPM, ein Dashboard für Nutzungsanalysen, Webhook-Benachrichtigungen für Budgetschwellenwerte, PII-Redaktions-Logging und Multi-Umgebungs-Support (Dev/Staging/Prod). Ursprünglich von Y Combinator S22-Gründern entwickelt und von Afore Capital unterstützt.

Anforderungen

Min vCPU
1
Min RAM
1024 MB
Min Disk
10 GB
Rec vCPU
2
Rec RAM
2048 MB
Rec Disk
20 GB

Empfohlener VPS

Hostinger · KVM 2

2 vCPU · 8192 MB · 100 GB

$6.99
Zum Anbieter

Hostinger · KVM 2

2 vCPU · 8192 MB · 100 GB

$6.99
Zum Anbieter

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Affiliate-Hinweis

Docker Compose

# Generated by Run This Ai — docker-compose.yml
services:
  bricksllm:
    image: luyuanxin1995/bricksllm:latest
    restart: unless-stopped
    ports:
      - 8080:8080
    volumes:
      - ./data/bricksllm:/data

Bester VPS für BricksLLM →

Verwandte Tools

Anleitungen & Artikel