Run This Ai
EN DE

BentoML

Der einfachste Weg, KI-Apps und -Modelle bereitzustellen – erstellen Sie Inference-APIs, Job-Queues, LLM-Apps und Multi-Modell-Pipelines.

★ 8,770 GitHub Apache-2.0 mlopsmodel-servingllminferencepython LLM & Chat

Überblick

BentoML ist eine Open-Source-Plattform für die Erstellung, Bereitstellung und Skalierung von KI-Anwendungen. Verwandeln Sie jedes Python-Modell mit nur wenigen Zeilen Code in eine produktionsreife Inference-API. Unterstützt werden LLM-Apps, Vision-Modelle, Multi-Modell-Pipelines und Hintergrund-Job-Queues mit adaptivem Batching und verteilter Bereitstellung. Native Integrationen mit PyTorch, TensorFlow und Hugging Face Transformers. Überall bereitstellen: Docker, Kubernetes oder BentoCloud.

Anforderungen

Min vCPU
2
Min RAM
4096 MB
Min Disk
10 GB
Rec vCPU
4
Rec RAM
8192 MB
Rec Disk
20 GB

Empfohlener VPS

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 8

8 vCPU · 32256 MB · 400 GB

$20.00
Zum Anbieter

Affiliate-Hinweis

Docker Compose

# Generated by Run This Ai — docker-compose.yml
services:
  bentoml:
    image: bentoml/model-server:latest
    restart: unless-stopped
    ports:
      - 8080:8080
    volumes:
      - ./data/bentoml:/data

Bester VPS für BentoML →

Verwandte Tools

NextChat

Cross-platform ChatGPT web UI with multi-model support for Ollama, Claude, Gemini, and more

Lobe Chat

Extensible, open-source ChatGPT alternative with plugins, knowledge base, and multi-LLM support

Open WebUI

User-friendly WebUI for LLMs (Ollama, OpenAI API)

text-generation-webui

Run local LLMs with a powerful web interface — text, vision, tool-calling, and OpenAI-compatible API

Streamlit

Build and share data apps in pure Python — fast

Gradio

Build and share delightful machine learning apps in Python

Anleitungen & Artikel

BentoML Tutorial: Deploy Your First LLM Inference API with Docker

Step-by-step: build a Bento, containerize it, and serve an LLM API with BentoML and Docker. Includes resource requirements and monitoring setup.

Aug 9, 2026

BentoML Guide: How to Serve AI Models in Production

BentoML turns any Python model into a production-ready inference API. Learn how adaptive batching, job queues, and multi-model pipelines make AI serving simple.

Aug 9, 2026