Run This Ai
EN DE

TensorZero

Open-Source-LLMOps-Plattform, die ein LLM-Gateway, Observability, Evaluierung und Experimentierung vereint, um Prompts und Modelle mit echtem Produktions-Traffic zu optimieren.

★ 11,717 GitHub Apache-2.0 llmopsgatewayobservabilityevaluationoptimizationllm LLM & Chat

Überblick

TensorZero ist eine Open-Source-LLMOps-Plattform, die ein LLM-Gateway, Observability, Evaluierung, Optimierung und Experimente in einem einzigen System vereint. Sie bietet einen gemeinsamen Endpunkt für alle großen LLM-Anbieter, protokolliert jedes Anfrage-Antwort-Paar und ermöglicht es Ihnen, Prompts, Modellauswahl und Inferenzparameter basierend auf echtem Produktionsverkehr ohne benutzerdefinierten Glue-Code zu optimieren. TensorZero unterstützt das Fine-Tuning für überwachtes Lernen und Reinforcement Learning, A/B-Tests sowie die schrittweise Einführung neuer Prompts und Modelle. Es wurde in Rust für eine hohe Performance entwickelt und ist unter der Apache-2.0-Lizenz lizenziert.

Anforderungen

Min vCPU
2
Min RAM
4096 MB
Min Disk
10 GB
Rec vCPU
4
Rec RAM
8192 MB
Rec Disk
20 GB

Empfohlener VPS

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 8

8 vCPU · 32256 MB · 400 GB

$20.00
Zum Anbieter

Affiliate-Hinweis

Docker Compose

# Generated by Run This Ai — docker-compose.yml
services:
  tensorzero:
    image: tensorzero/gateway:latest
    restart: unless-stopped
    ports:
      - 8080:8080
    volumes:
      - ./data/tensorzero:/data

Bester VPS für TensorZero →

Verwandte Tools

NextChat

Cross-platform ChatGPT web UI with multi-model support for Ollama, Claude, Gemini, and more

Lobe Chat

Extensible, open-source ChatGPT alternative with plugins, knowledge base, and multi-LLM support

Open WebUI

User-friendly WebUI for LLMs (Ollama, OpenAI API)

text-generation-webui

Run local LLMs with a powerful web interface — text, vision, tool-calling, and OpenAI-compatible API

Streamlit

Build and share data apps in pure Python — fast

Gradio

Build and share delightful machine learning apps in Python

Anleitungen & Artikel

How to Self-Host TensorZero: Gateway, Observability & Optimization Tutorial

Step-by-step tutorial to run TensorZero with Docker: configure the gateway, send inferences, run A/B experiments, and fine-tune models on real traffic.

Sep 1, 2026

TensorZero: The Open-Source LLMOps Platform That Combines Gateway, Observability & Optimization

TensorZero unifies an LLM gateway, observability, evaluation, and experimentation in one open-source platform. Learn how it optimizes prompts and models with real production traffic.

Sep 1, 2026