Unsere lokalen LLMs im Einsatz

Auf diese lokalen Open-Source-Modelle setzen wir aktuell – alle laufen auf eigener Infrastruktur im hauseigenen Bürokeller.

Reasoning & Coding

Die Denker: komplexe Analysen, Geschäftslogik und Unterstützung beim Programmieren.

deepseek-v4:flash

Flaggschiff: Analysen, Buchungslogik, komplexes Coding

DeepSeek AI (CN) ~102 GB RAM MIT

Hugging Face

kimi-linear:48b

Alltags-Sprinter, lange Dokumente & Kontextverständnis

Moonshot AI (CN) 30 GB RAM MIT

Hugging Face

qwen3-coder:30b

Coding-Spezialist für schnelle Iterationen & Agenten-Tasks

Alibaba / Qwen (CN) 18 GB RAM Apache 2.0

Ollama

qwen3.6:35b

Reserve-Mittelklasse

Alibaba / Qwen (CN) 23 GB RAM Apache 2.0

Ollama

Vision & Dokumente

Die Augen: Bilder verstehen und Scans in verwertbaren Text verwandeln.

qwen3-vl:32b

Detailliertes Bildverständnis: Screenshots, Diagramme, Belege

Alibaba / Qwen (CN) 20 GB RAM Apache 2.0

Ollama

qwen3-vl:8b

Schnelle Vision-Variante für einfache Bildaufgaben

Alibaba / Qwen (CN) 6,1 GB RAM Apache 2.0

Ollama

gemma4:31b

Bild-Input + stilsichere Texte

Google 19 GB RAM Gemma-Lizenz

Ollama

deepseek-ocr

PDF/Scan → Markdown

DeepSeek AI (CN) 6,7 GB RAM MIT

Ollama

Retrieval & Suche

Das Gedächtnis: findet in grossen Datenbeständen die passenden Inhalte.

qwen3-embedding:8b

Vektoren für Ähnlichkeitssuche

Alibaba / Qwen (CN) 4,7 GB RAM Apache 2.0

Ollama

Unsere Infrastruktur

Hier laufen unsere lokalen Modelle.

Hardware

MacBook Pro 16" M5 Max, 128 GB RAM.

Modellverwaltung

LiteLLM für Verwaltung und Autorisierung, Ollama betreibt die Modelle.

LiteLLM Ollama

Zugang & Sicherheit

Cloudflare Tunnel auf das lokale MacBook.

Strom

USV Ubiquiti UniFi.

Nutzung

So intensiv sind unsere Modelle aktuell im Einsatz.

73.4M

Tokens diesen Monat

Input 72.6M

Output 758'548

3'170

Anfragen diesen Monat

Zur Nutzungsstatistik

Archiv

Modelle, die wir abgelöst haben – der Vollständigkeit halber.

Reasoning & Coding

Reasoning & Coding
Altes Modell	Abgelöst durch
qwen3.5:122b	deepseek-v4:flash
qwen3.6:35b-a3b	kimi-linear:48b
qwen3.6:27b	qwen3.6:35b
qwen3.5:9b	kimi-linear:48b
qwen3.5:4b	kimi-linear:48b

Vision & Dokumente

Vision & Dokumente
Altes Modell	Abgelöst durch
gemma4:12b	qwen3-vl:8b
gemma4:e4b	qwen3-vl:8b

Retrieval & Suche

Retrieval & Suche
Altes Modell	Abgelöst durch
qwen3-embedding:4b	qwen3-embedding:8b
qwen3-reranker:8b	—

Mehr entdecken

KI KI auf eigener Infrastruktur.