Wie du mit einem DGX Spark, einem Minisforum-Mini-PC und Open WebUI eine komplett lokale KI-Umgebung baust – ideal für Homelab und für Firmen, die mit sensiblen Daten arbeiten.
Warum überhaupt lokal? Der Punkt, an dem alles hängt
Jedes Mal, wenn du etwas in ChatGPT, Gemini oder Copilot tippst, verlässt dein Text deinen Rechner und landet auf fremden Servern. Für den privaten Kram ist das vielleicht egal. Sobald es aber um Mandantenakten, Patientendaten, Verträge, Gehaltslisten oder interne Kalkulationen geht, ist genau das ein Problem – rechtlich (DSGVO) und vom Bauchgefühl her sowieso.
Die Lösung: Das komplette KI-System läuft bei dir. Keine Cloud, kein Abo, keine Daten, die nach außen wandern. Und genau dafür hat NVIDIA seit Ende 2025 ein Gerät im Programm, das das erstmals ohne halbes Rechenzentrum im Keller möglich macht – den DGX Spark.
In diesem Beitrag zeige ich dir, wie so ein Setup technisch aufgebaut ist: Der DGX Spark als Rechenknecht, ein sparsamer Minisforum-Mini-PC als 24/7-Frontend und Open WebUI als schicke, ChatGPT-artige Oberfläche. Am Ende gibt’s noch eine optionale Ausbaustufe mit einem LLM-Proxy für alle, die es richtig sauber und mehrbenutzerfähig wollen.
Der DGX Spark – ein KI-Supercomputer in Schuhkarton-Größe
Der DGX Spark ist NVIDIAs „persönlicher KI-Supercomputer„. Klingt nach Marketing, ist von der Bauart aber wirklich bemerkenswert: Das ganze Gerät ist gerade mal 15 × 15 cm groß, keine 5 cm hoch und wiegt rund 1,2 kg. Trotzdem steckt darin Rechenleistung, für die man vor zwei Jahren noch eine Workstation mit lauter Grafikkarte gebraucht hätte.
Die technischen Eckdaten:
- GB10 Grace-Blackwell-Superchip: eine 20-Kern-ARM-CPU (10× Cortex-X925 + 10× Cortex-A725) und eine Blackwell-GPU mit 6.144 CUDA-Cores und Tensor-Cores der 5. Generation auf einem Chip
- 128 GB Unified Memory (LPDDR5x), das sich CPU und GPU teilen – das ist der eigentliche Clou, denn dadurch passen auch große Sprachmodelle komplett in den Speicher
- 273 GB/s Speicherbandbreite – der ehrliche Flaschenhals des Systems (dazu gleich mehr)
- bis zu 1 PetaFLOP KI-Leistung (FP4)
- 4 TB verschlüsselte NVMe-SSD, 10-Gigabit-Netzwerk und zwei 200-GbE-Ports (ConnectX-7), über die man sogar zwei Spark koppeln kann
- DGX OS (ein Ubuntu-Linux) mit vorinstalliertem Ollama, Docker mit GPU-Zugriff und JupyterLab
Auf einem Gerät laufen damit Modelle bis rund 200 Milliarden Parameter (Inferenz), Fine-Tuning geht bis etwa 70 Milliarden. Wer zwei Spark koppelt, kommt an Modelle bis 405B heran.
Ehrliche Einordnung: Was er kann – und was nicht
Damit hier keine falschen Erwartungen entstehen: Der DGX Spark ist kein Ersatz für eine H100-Serverfarm. Die 273 GB/s Bandbreite begrenzen, wie schnell Token ausgespuckt werden. In der Praxis heißt das:
- Große Modelle (~120B): rund 35–40 Token pro Sekunde – flüssig lesbar, aber kein Tippgewitter
- Mittlere Modelle (70B-Klasse): deutlich schneller, fühlt sich nach Echtzeit an
- Kleine Modelle (7B–13B): praktisch sofort
Für einen einzelnen Nutzer oder ein kleines Team, das lokal und datenschutzkonform arbeiten will, ist das mehr als genug. Und genau das ist die Zielgruppe.
- Supercomputer-Leistung direkt auf Ihren Schreibtisch in einem kompakten, energieeffizienten Design, das KI im Unternehmensmaßstab und Hochleistungsrechnen genau dort ermöglicht, wo Sie es brauchen.
Die Architektur – so ist das Ganze aufgebaut
Jetzt zum spannenden Teil: Wie hängt das zusammen? Ich baue das in zwei Stufen auf, die aufeinander aufsetzen.
Stufe 1: Der DGX Spark als Modell-Server
Auf dem Spark selbst läuft die eigentliche KI. Über Ollama (oder für mehr Kontrolle vLLM/llama.cpp) werden die Sprachmodelle geladen und ausgeführt. Wichtig: Ollama stellt automatisch einen OpenAI-kompatiblen Endpoint bereit (standardmäßig auf Port 11434). Das ist der Anschluss, an den sich später alles andere andockt.
Man könnte den Spark theoretisch direkt bedienen – aber eine Kommandozeile ist keine Oberfläche, mit der man täglich arbeiten will. Und der Spark soll rechnen, nicht rund um die Uhr als Webserver laufen. Deshalb kommt Stufe 2.
Stufe 2: Minisforum-Mini-PC mit Open WebUI davor
Vor den Spark setzen wir einen potenten, dauerhaft laufenden Mini-PC – hier bietet sich ein Minisforum-System an. Der Gedanke dahinter: Aufgabentrennung.
- Der DGX Spark macht ausschließlich das Rechnen (Inferenz).
- Der Minisforum läuft 24/7 als Frontend-Host und kümmert sich um Oberfläche, Nutzerverwaltung, Chatverläufe und die ganze Datei-Logik.
Auf dem Minisforum läuft ein Hypervisor wie Proxmox, und in einer virtuellen Maschine wird Open WebUI betrieben – eine self-hosted Weboberfläche, die aussieht und sich anfühlt wie ChatGPT. Open WebUI hält selbst keine Modelle vor, sondern zeigt über das lokale Netzwerk einfach auf den Ollama-Endpoint des DGX Spark.
Der Datenfluss sieht dann so aus:
Die komplette Architektur auf einen Blick: Die Clients (Laptop, PC, Smartphone) im lokalen Netz greifen auf Open WebUI zu, das in einer VM unter Proxmox auf dem Minisforum-Frontend-Host läuft. Open WebUI spricht über die OpenAI-kompatible API (Port 11434) den DGX Spark als Modell-Server an. Lokale Ressourcen wie NAS, Datenbanken oder Dokumente hängen optional daneben – der Internet-Zugang bleibt komplett außen vor.
Ein technisches Detail, das man dazu wissen sollte: Der eigentliche Flaschenhals in diesem Aufbau ist nicht das Netzwerk zwischen den Geräten, sondern die interne Speicherbandbreite des Spark (273 GB/s). Sie bestimmt, wie schnell Token generiert werden – das schnelle LAN sorgt nur dafür, dass große Dateien und lange Kontexte zügig zwischen Frontend-Host und Spark wandern.
Als Mini-PC setze ich hier auf den Minisforum MS-02 Ultra – aktuell eine der potentesten Homelab-Workstations im Mini-Format. Der ist für diese Aufgabe eigentlich schon überdimensioniert und hat entsprechend Reserven für alles, was noch dazukommt:
- Intel Core Ultra 9 285HX mit 24 Kernen
- bis zu 256 GB DDR5 – mit ECC, also Fehlerkorrektur im Speicher (wichtig, wenn Datenintegrität zählt)
- 4× M.2-NVMe (bis 24 TB, RAID 0/1/5/10)
- Dual 25-GbE plus 10-GbE und 2,5-GbE – die schnelle Anbindung an Spark und NAS ist damit überhaupt kein Thema mehr
- PCIe 5.0 mit Platz für eine Dual-Slot-Desktop-GPU, falls du später lokal noch mehr Rechenpower danebenstellen willst
Gerade das 25-GbE-Netz zwischen MS-02 Ultra und Spark ist Gold wert, wenn große Dateien und lange Kontexte hin- und herwandern. Preislich startet der MS-02 Ultra je nach Ausstattung bei rund 840–1.200 US-Dollar (Barebone bis Vollausbau).
- [Hochleistungs-KI-Prozessor] Der MS-02 Ultra ist mit einem Intel Core Ultra 9 285HX (24 Kerne/24 Threads, bis zu 5,5 GHz, 13 TOPS NPU) ausgestattet und bietet schnelle und effiziente Leistung für KI-Inferenz und Algorithmenentwicklung. Ein PCIe x16-Erweiterungssteckplatz ermöglicht GPU-Upgrades der Desktop-Klasse für fortschrittliches Modelltraining und beschleunigte Rechenaufgaben. Er ist ideal für Kreative, Ingenieure und Teams, die rechenintensive parallele Workloads verarbeiten.
Was man damit im Alltag anstellt
Die Architektur ist nett – aber der eigentliche Wert steckt darin, was man damit macht. Und hier kommt der Datenschutz-Vorteil voll zum Tragen, weil eben nichts das lokale Netz verlässt.
Sensible Dokumente auswerten. Eine Anwaltskanzlei wirft Verträge oder Schriftsätze in Open WebUI, lässt sie zusammenfassen, nach Risiken durchsuchen oder Schlussfolgerungen ziehen – ohne dass eine einzige Zeile Mandantendaten das Haus verlässt. Das Gleiche gilt für Steuerberater, Ärzte, HR-Abteilungen oder jeden, der mit vertraulichen Unterlagen hantiert.
Excel-Dateien zusammenführen und analysieren. Mehrere Tabellen lokal reinschmeißen, zusammenführen, auswerten, Muster erkennen lassen – über den eingebauten Code-Interpreter rechnet das Modell mit pandas komplett offline. Kein Upload zu einem Cloud-Dienst, keine Angst, wo die Zahlen landen.
Eigene Wissensdatenbank (RAG). Open WebUI kann ganze Dokumentensammlungen durchsuchbar machen. Das Modell antwortet dann auf Basis deiner Dokumente statt aus dem Internet – ideal für internes Handbuchwissen, Vertragsvorlagen oder Projektunterlagen.
Netzlaufwerke direkt einbinden (CIFS/SMB). Du musst deine Dateien nicht mühsam einzeln hochladen. Weil Open WebUI in einer VM bzw. einem Docker-Container auf dem MS-02 Ultra läuft, kannst du eine bestehende CIFS-/SMB-Freigabe – etwa vom NAS oder Fileserver – direkt einhängen (mount -t cifs …) und als Wissensdatenbank in Open WebUI anbinden. Das Modell greift dann auf den Ordnerinhalt zu, indexiert ihn lokal und wertet ihn aus. Kurz zur Technik: Open WebUI liest die Dateien beim Anlegen der Wissenssammlung ein und legt sie im eigenen lokalen Vektorspeicher ab – ändert sich der Inhalt der Freigabe, stößt man einfach eine erneute Synchronisierung an. Der komplette Vorgang bleibt im eigenen Netz.
| Vorschau | Produkt | Bewertung | Preis | |
|---|---|---|---|---|
|
UGREEN NASync DXP4800 Pro 4-Bay Desktop NAS, Intel i3-1315U, 8 GB DDR5 | 678,80 EUR | Bei Amazon ansehen |
Meetings automatisch auswerten – Teams, Meet & Zoom
Eine Frage, die praktisch immer kommt: Kann ich das lokale LLM an Microsoft Teams oder Google Meet hängen und mir Meetings auswerten lassen? Die Antwort ist ja – man muss nur den richtigen Weg wählen, damit die Daten lokal bleiben.
Der einfachste Weg – nachträglich. Teams, Google Meet und Zoom können Meetings mitschneiden und ein Transkript (VTT- oder Textdatei) erzeugen. Diese Datei wirfst du einfach in Open WebUI und lässt zusammenfassen, To-dos extrahieren, Entscheidungen protokollieren oder gezielt Fragen dazu beantworten. Kein Zusatz-Tool nötig.
Der saubere lokale Weg – (nahezu) live. Wer nicht auf die Cloud-Transkription von Microsoft oder Google angewiesen sein will, nutzt ein bot-freies Aufnahme-Tool, das direkt das System-Audio abgreift – ganz ohne dass ein sichtbarer Bot dem Call beitritt. Ein Open-Source-Beispiel ist Meetily (MIT-Lizenz): Es nimmt den Ton lokal auf, transkribiert per Whisper direkt auf dem Gerät und schickt anschließend nur das Transkript an dein lokales LLM (Ollama auf dem Spark) für die Zusammenfassung. Nichts davon verlässt dein Netzwerk.
Wovon ich abraten würde. Die klassischen „Meeting-Bots“, die sich als Teilnehmer in den Call einwählen (Otter, Fireflies & Co.), laufen fast immer über die Cloud des jeweiligen Anbieters – genau das, was wir hier eigentlich vermeiden wollen. Für den Datenschutz-Ansatz ist der Transkript- oder der System-Audio-Weg klar die bessere Wahl.
Unterm Strich kannst du dir also nach jedem Meeting automatisch ein Protokoll samt Aufgabenliste ziehen lassen, ohne dass ein Wort davon bei Microsoft, Google oder einem Drittanbieter landet.
Mehr als nur Chatbot: Der Spark kann noch anderes
Ein Punkt, der oft untergeht: Der DGX Spark ist eine vollwertige CUDA-Linux-Maschine. Sprachmodelle sind nur ein Anwendungsfall. Ebenfalls komplett lokal laufen zum Beispiel:
- Whisper-Transkription: Diktate, Interviews oder Sprachnotizen lokal in Text umwandeln (die Grundlage für die Meeting-Auswertung oben)
- Bildgenerierung mit Stable Diffusion oder Flux
- Computer Vision und Videoanalyse – NVIDIA bewirbt den Spark ausdrücklich auch für Robotik und Bildverarbeitung
- Fine-Tuning eigener Modelle (bis ~70B) auf firmeneigene Daten
- Klassische Data Science mit CUDA-beschleunigtem pandas/RAPIDS
Wer also einmal in die Hardware investiert, bekommt nicht nur einen Chatbot, sondern eine ganze lokale KI-Werkbank.
Optionale Ausbaustufe: LLM-Proxy für Fortgeschrittene
Für die meisten reicht Open WebUI direkt am Spark. Wer aber mehrere Nutzer sauber verwalten oder mehrere Modell-Quellen bündeln will, schiebt noch einen LLM-Proxy dazwischen – zum Beispiel das Open-Source-Tool LiteLLM.
LiteLLM setzt sich zwischen Open WebUI und die Modell-Backends und bietet:
- einen einheitlichen OpenAI-Endpoint für mehrere Backends gleichzeitig
- API-Keys, Nutzer und Budgets pro Person oder Abteilung
- Logging aller Anfragen (praktisch für Compliance)
- Load-Balancing und Failover, falls mal ein zweiter Spark oder ein anderes System dazukommt
Der Datenfluss wird dann um eine Station länger:
Browser → Open WebUI → LiteLLM-Proxy → Ollama/vLLM (DGX Spark)Für ein Homelab ist das die Kür; für eine Firma mit mehreren Mitarbeitern ist es der Schritt, der aus dem Bastelprojekt eine saubere interne KI-Plattform macht.
Fazit
Der DGX Spark macht etwas möglich, das bis vor Kurzem großen Firmen vorbehalten war: eine leistungsfähige KI, die komplett unter der eigenen Kontrolle läuft. Kombiniert man ihn mit einem Minisforum als Frontend-Host und Open WebUI als Oberfläche, bekommt man ein System, das sich bedient wie ChatGPT – bei dem aber garantiert keine Daten das eigene Netzwerk verlassen.
Für Homelab-Enthusiasten ist das ein Traum-Setup. Für Kanzleien, Praxen und kleine Betriebe, die mit sensiblen Daten arbeiten, ist es fast schon ein Muss, sobald man KI ernsthaft einsetzen will.
Schreibe einen Kommentar