Run This Ai
EN DE

Soup

Feinabstimmung von LLMs über eine einzige YAML-Datei. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.

★ 2,790 GitHub Apache-2.0 llmfine-tuningyamllayer-streamingtrainingcli LLM & Chat

Überblick

Soup ist ein Open-Source-Toolkit für das Fine-Tuning von LLMs, mit dem Sie einen gesamten Trainingsdurchlauf über eine einzige YAML-Datei konfigurieren können. Sein wichtigstes Merkmal ist das Layer-Streaming: Anstatt das eingefrorene Basismodell in den VRAM zu laden, streamt Soup einen Decoder-Layer nach dem anderen durch die GPU. Dadurch können Sie ein 8B-Parameter-Modell auf einem Laptop mit nur 4 GB VRAM feinabstimmen. Gemessen auf einem RTX 3050 Laptop trainiert Llama-3.1-8B-Instruct mit 119,6 Tokens pro Sekunde bei einer Spitzenauslastung von 3,32 GB, bit-exakt im Vergleich zu einem herkömmlichen, vollständig geladenen Durchlauf. Soup wird mit einem CLI, einer Chat-UI, Datentools, einer Modell-Registry, Benchmarks und Vorlagen geliefert und unterstützt das Laden von Konfigurationen aus lokalen Dateien oder Remote-URLs. Alles ist optional: Installieren Sie nur das schlanke CLI oder fügen Sie die Stacks für Training, Serving, UI und Daten hinzu. Lizenziert unter Apache-2.0.

Anforderungen

Min vCPU
2
Min RAM
4096 MB
Min Disk
10 GB
Rec vCPU
4
Rec RAM
8192 MB
Rec Disk
20 GB

Empfohlener VPS

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 4

4 vCPU · 16384 MB · 200 GB

$11.99
Zum Anbieter

Hostinger · KVM 8

8 vCPU · 32256 MB · 400 GB

$20.00
Zum Anbieter

Affiliate-Hinweis

Docker Compose

# Generated by Run This Ai — docker-compose.yml
services:
  soup:
    image: ghcr.io/makazhanalpamys/soup:latest
    restart: unless-stopped
    ports:
      - 8080:8080
    volumes:
      - ./data/soup:/data

Bester VPS für Soup →

Verwandte Tools

NextChat

Cross-platform ChatGPT web UI with multi-model support for Ollama, Claude, Gemini, and more

Lobe Chat

Extensible, open-source ChatGPT alternative with plugins, knowledge base, and multi-LLM support

Open WebUI

User-friendly WebUI for LLMs (Ollama, OpenAI API)

text-generation-webui

Run local LLMs with a powerful web interface — text, vision, tool-calling, and OpenAI-compatible API

Streamlit

Build and share data apps in pure Python — fast

Gradio

Build and share delightful machine learning apps in Python

Anleitungen & Artikel

How to Fine-Tune an 8B Model on a 4 GB Laptop GPU with Soup

Step-by-step tutorial: install soup-cli, init a chat template, enable layer streaming, and train Llama-3.1-8B-Instruct on a 4 GB RTX 3050 Laptop with a 3.32 GB VRAM peak.

Aug 23, 2026

Soup: Fine-Tune LLMs from a Single YAML File

Soup is an open-source LLM fine-tuning toolkit that configures an entire training run from one YAML file. Its layer-streaming engine trains an 8B model on a 4 GB laptop GPU at 119.6 tok/s.

Aug 23, 2026