How to Install BricksLLM on Ubuntu 24.04

BricksLLM ist ein Enterprise-Grade API-Gateway, das speziell für LLM-Anbieter entwickelt wurde. Es bietet Ihnen eine präzise Kontrolle darüber, wie Ihr Team KI-APIs nutzt – setzen Sie Kostenlimits pro API-Key, erzwingen Sie Ratenbegrenzungen pro Benutzer, Anwendung oder Umgebung und überwachen Sie die Nutzung in Ihrem gesamten Unternehmen. Mit Unterstützung für OpenAI, Azure OpenAI, Anthropic, vLLM und jedes Open-Source-LLM hinter einer kompatiblen API fungiert BricksLLM als einheitliche Proxy-Schicht. Das Admin-Dashboard ermöglicht es Ihnen, API-Keys mit benutzerdefinierten Regeln zu erstellen, Echtzeit-Nutzungsanalysen einzusehen und Budgetwarnungen festzulegen. Implementieren Sie es als Docker-Container neben Ihrer bestehenden Infrastruktur – es lässt sich für hochperformantes Rate-Limiting mit Ihrer Datenbank (PostgreSQL) und Redis integrieren. Zu den Funktionen gehören Kostenverfolgung pro Key, Ratenbegrenzung nach RPM/TPM, ein Dashboard für Nutzungsanalysen, Webhook-Benachrichtigungen für Budgetschwellenwerte, PII-Redaktions-Logging und Multi-Umgebungs-Support (Dev/Staging/Prod). Ursprünglich von Y Combinator S22-Gründern entwickelt und von Afore Capital unterstützt.