SillyTavern auf Ubuntu 24.04 + Ollama

Was ist SillyTavern?

SillyTavern ist eine leistungsstarke UI für LLM-Rollenspiele und Chats — mit anpassbaren Charakteren, Gruppenchats, Plugins und Lorebooks. In Kombination mit Ollama bietet es ein vollständig privates, selbst gehostetes KI-Chat-Erlebnis.

Voraussetzungen

• Ubuntu 24.04 LTS, 2 CPU / 2 GB RAM (4+ GB empfohlen)
• Docker Engine + docker-compose Plugin
• Ollama muss bereits laufen (systemctl status ollama)
• Port 8000 muss auf dem Host verfügbar sein

1 — Docker installieren

sudo apt-get update && sudo apt-get install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc && sudo chmod a+r /etc/apt/keyrings/docker.asc
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu noble stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt-get update && sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
sudo usermod -aG docker $USER

2 — Projekteinrichtung

mkdir -p ~/sillytavern/{data,plugins}
cd ~/sillytavern

Erstellen Sie eine docker-compose.yml:

version: "3.8"
services:
  sillytavern:
    image: ghcr.io/sillytavern/sillytavern:latest
    container_name: sillytavern
    restart: unless-stopped
    ports:
      - "8000:8000"
    volumes:
      - ./data:/home/node/app/data
      - ./plugins:/home/node/app/plugins
    environment:
      - SILENT=true
    extra_hosts:
      - "host.docker.internal:host-gateway"

3 — Starten

docker compose up -d

Öffnen Sie http://localhost:8000. Für Nginx:

sudo apt-get install -y nginx
cat <<'EOF' | sudo tee /etc/nginx/sites-available/sillytavern
server {
    listen 80;
    server_name sillytavern.example.com;
    location / {
        proxy_pass http://127.0.0.1:8000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}
EOF
sudo ln -s /etc/nginx/sites-available/sillytavern /etc/nginx/sites-enabled/
sudo nginx -t && sudo systemctl reload nginx

Umgebungsvariablen

• SILENT=true — Start-Banner unterdrücken (Standard: false)
• DISABLE_PLUGINS=true — alle Plugins zur Fehlerbehebung deaktivieren (Standard: false)
• CONFIG_PATH — Speicherort der Konfigurationsdatei anpassen (Standard: data/config.yaml)

4 — Mit Ollama verbinden

1. Klicken Sie auf das Steckersymbol (oben links).
2. Setzen Sie API Type auf Ollama.
3. Setzen Sie API URL auf http://host.docker.internal:11434 (oder die LAN-IP).
4. Klicken Sie auf Connect.

5 — Modellkonfiguration

ollama pull llama3.2:3b
ollama pull mistral:7b

Wählen Sie ein Modell aus, legen Sie die Kontextgröße (Context Size, 4096) fest und passen Sie die Temperatur an (0,7–1,2 für kreatives Schreiben). Sie können während der Sitzung zwischen Modellen wechseln.

6 — RAG mit Lorebooks

Klicken Sie auf das Buchsymbol (rechte Seitenleiste). Importieren oder erstellen Sie Einträge mit Schlüsselwörtern und Inhalten. Verknüpfen Sie diese mit Charakteren oder global. Passende Einträge werden automatisch in den Kontext geladen.

Backup & Update

# Backup (Charaktere, Chats, Lorebooks)
tar -czf st-$(date +%Y%m%d).tar.gz ~/sillytavern/data
# Update
cd ~/sillytavern && docker compose pull && docker compose up -d && docker image prune -f

Daten bleiben über Updates hinweg erhalten.

Fehlerbehebung

Verbindung abgelehnt (Conn refused)

• Überprüfen Sie systemctl status ollama.
• Setzen Sie OLLAMA_HOST=0.0.0.0:11434 in der ollama.service und starten Sie neu.
• Test: docker exec sillytavern curl -s http://host.docker.internal:11434/api/tags.
• Firewall öffnen: sudo ufw allow 11434.

Langsam bei großen Kontexten

• Reduzieren Sie die Context Size auf 4096.
• Kürzen Sie Lorebook-Einträge.
• Verwenden Sie ein kleineres Modell (3B–7B).
• Fügen Sie für größere Modelle eine GPU hinzu.

Plugin-Probleme

• Überprüfen Sie die Plugin-Konsole auf Fehler.
• Setzen Sie DISABLE_PLUGINS=true zur Isolation.
• Entfernen Sie Plugins aus dem plugins/-Verzeichnis und starten Sie neu.

Charakterdaten verloren

• Stellen Sie sicher, dass der ./data-Volume-Mount korrekt ist.
• Wiederherstellung: tar -xzf st-*.tar.gz -C ~/sillytavern.
• Aktivieren Sie das automatische Speichern unter Settings > Chat (1–5 Min).