How to Install Soup on Hostinger VPS

Soup ist ein Open-Source-Toolkit für das Fine-Tuning von LLMs, mit dem Sie einen gesamten Trainingsdurchlauf über eine einzige YAML-Datei konfigurieren können. Sein wichtigstes Merkmal ist das Layer-Streaming: Anstatt das eingefrorene Basismodell in den VRAM zu laden, streamt Soup einen Decoder-Layer nach dem anderen durch die GPU. Dadurch können Sie ein 8B-Parameter-Modell auf einem Laptop mit nur 4 GB VRAM feinabstimmen. Gemessen auf einem RTX 3050 Laptop trainiert Llama-3.1-8B-Instruct mit 119,6 Tokens pro Sekunde bei einer Spitzenauslastung von 3,32 GB, bit-exakt im Vergleich zu einem herkömmlichen, vollständig geladenen Durchlauf. Soup wird mit einem CLI, einer Chat-UI, Datentools, einer Modell-Registry, Benchmarks und Vorlagen geliefert und unterstützt das Laden von Konfigurationen aus lokalen Dateien oder Remote-URLs. Alles ist optional: Installieren Sie nur das schlanke CLI oder fügen Sie die Stacks für Training, Serving, UI und Daten hinzu. Lizenziert unter Apache-2.0.