Run This Ai
EN DE

vLLM Ascend

High-Throughput LLM-Serving auf Huawei Ascend NPUs. Community-gepflegtes Hardware-Plugin für vLLM.

★ 2,621 GitHub Apache-2.0 vllmascendhuaweinpullm-inferenceinference LLM & Chat

Überblick

vLLM Ascend ist ein von der Community gepflegtes Hardware-Plugin, das die vLLM-Inferenz-Engine auf Huawei Ascend-NPUs bringt. Es ermöglicht das Bereitstellen großer Sprachmodelle mit hohem Durchsatz und geringer Latenz auf Ascend 910B- und 310P-Hardware und bietet eine kostengünstige, energieeffiziente Alternative zu NVIDIA-GPUs für selbst gehostete LLM-Bereitstellungen. Das Projekt wird aktiv von der vLLM-Community weiterentwickelt, unterstützt die neuesten vLLM-Versionen durch das Begleitpaket „vllm-ascend“ von Ascend und wird mit einem offiziellen Docker-Image für einen schnellen Start geliefert.

Anforderungen

Min vCPU
2
Min RAM
8192 MB
Min Disk
10 GB
Rec vCPU
8
Rec RAM
32768 MB
Rec Disk
20 GB

Docker Compose

# Generated by Run This Ai — docker-compose.yml
services:
  vllm-ascend:
    image: ascendai/vllm-ascend:latest
    restart: unless-stopped
    ports:
      - 8080:8080
    volumes:
      - ./data/vllm-ascend:/data

Bester VPS für vLLM Ascend →

Verwandte Tools

NextChat

Cross-platform ChatGPT web UI with multi-model support for Ollama, Claude, Gemini, and more

Lobe Chat

Extensible, open-source ChatGPT alternative with plugins, knowledge base, and multi-LLM support

Open WebUI

User-friendly WebUI for LLMs (Ollama, OpenAI API)

text-generation-webui

Run local LLMs with a powerful web interface — text, vision, tool-calling, and OpenAI-compatible API

Streamlit

Build and share data apps in pure Python — fast

Gradio

Build and share delightful machine learning apps in Python

Anleitungen & Artikel

How to Deploy vLLM Ascend with Docker: Step-by-Step Tutorial

Deploy vLLM on Huawei Ascend NPUs in minutes with the official ascendai/vllm-ascend Docker image. Pull, run, and query an OpenAI-compatible LLM endpoint.

Aug 13, 2026

vLLM Ascend: Run High-Throughput LLM Inference on Huawei Ascend NPUs

vLLM Ascend brings the vLLM inference engine to Huawei Ascend NPUs. Explore features, hardware support, and why Ascend is a serious GPU alternative for self-hosted LLM serving.

Aug 13, 2026