How to Install vLLM Ascend on Ubuntu 24.04

vLLM Ascend ist ein von der Community gepflegtes Hardware-Plugin, das die vLLM-Inferenz-Engine auf Huawei Ascend-NPUs bringt. Es ermöglicht das Bereitstellen großer Sprachmodelle mit hohem Durchsatz und geringer Latenz auf Ascend 910B- und 310P-Hardware und bietet eine kostengünstige, energieeffiziente Alternative zu NVIDIA-GPUs für selbst gehostete LLM-Bereitstellungen. Das Projekt wird aktiv von der vLLM-Community weiterentwickelt, unterstützt die neuesten vLLM-Versionen durch das Begleitpaket „vllm-ascend“ von Ascend und wird mit einem offiziellen Docker-Image für einen schnellen Start geliefert.