Ein lokales KI-Modell schlägt die Cloud, wenn Daten das Haus nicht verlassen dürfen oder wenn sehr viele gleichartige Anfragen anfallen; bei wenig oder schwankender Nutzung und hohen Qualitätsansprüchen ist die Cloud meist günstiger und einfacher. Dieser Beitrag zeigt, wie Sie beides abwägen, welche Hardware für welche Modellgröße gebraucht wird und was der Betrieb bedeutet.
Wann lohnt sich ein lokales Modell?
Lokal lohnt sich in drei Fällen. Erstens, wenn Daten besonders schutzbedürftig sind und nicht an einen Modellanbieter gehen sollen, etwa bei Mandanten-, Patienten- oder Personaldaten. Zweitens, wenn sehr viele gleichartige Anfragen anfallen, weil Fixkosten dann pro Anfrage sinken. Drittens, wenn Sie unabhängig von Preisen, Nutzungsgrenzen und Änderungen eines Anbieters sein wollen. Wir betreiben selbst ein lokales Sprachmodell auf eigener Hardware für interne Aufgaben und nutzen für schwierige Aufgaben zusätzlich Cloud-Modelle.
| Kriterium | Cloud (über den Anbieter) | Lokal (eigener Server) |
|---|---|---|
| Datenkontrolle | Daten gehen an den Anbieter, vertraglich geregelt | Daten bleiben im Haus |
| Kostenverlauf | Nutzungsabhängig | Fixkosten für Hardware und Betrieb |
| Qualität | Oft die leistungsstärksten Modelle | Gut für umrissene Aufgaben, kleiner |
| Aufwand | Gering | Einrichtung, Updates, Überwachung |
| Verfügbarkeit | Zusagen des Anbieters | Liegt bei Ihnen |
| Anpassung | Begrenzt | Feinabstimmung möglich |
Wie rechnen Sie Kosten und Schwelle?
Vergleichen Sie Ihre monatliche Rechnung beim Cloud-Anbieter mit den monatlichen Gesamtkosten eines eigenen Servers. Diese setzen sich aus Anschaffung (verteilt auf einen Nutzungszeitraum), Strom und Betreuungsaufwand zusammen. Ein Beispiel mit angenommenen Zahlen: Kostet eine Workstation 3.000 € und nutzen Sie sie 36 Monate, sind das rund 83 € im Monat, dazu Strom und Betreuung. Erst wenn Ihre Cloud-Nutzung dauerhaft darüber liegt oder Datenschutz den Ausschlag gibt, lohnt sich der Eigenbetrieb. Zur Abwägung zwischen offenen und proprietären Modellen lesen Sie Open-Source- vs. proprietäre KI-Modelle.
Welche Hardware brauchen Sie?
Entscheidend ist der Speicher, in dem das Modell liegt. Als grobe Orientierung belegt ein Modell in vierfach verkleinerter Darstellung (Quantisierung) etwa ein halbes Byte pro Parameter, plus Platz für den Kontext. Warum Grafikprozessoren dafür nötig sind, erklärt Warum braucht KI GPUs?.
| Klasse | Typische Ausstattung | Modellgröße (grob, quantisiert) | Geeignet für |
|---|---|---|---|
| Arbeitsplatz oder Mini-PC | 16 bis 32 GB Arbeitsspeicher oder kleine GPU | bis etwa 8 bis 14 Milliarden Parameter | Zusammenfassen, Sortieren, Entwürfe für wenige Nutzer |
| Workstation | Eine GPU mit 16 bis 48 GB Grafikspeicher | etwa 14 bis 32 Milliarden Parameter | Fragen an eigene Dokumente, mehrere Nutzer |
| Server | Mehrere GPUs, ab etwa 80 GB Speicher | 70 Milliarden Parameter und mehr | Viele Nutzer, höhere Qualität, höhere Kosten |
Software wie llama.cpp und Ollama erleichtert das Betreiben offener Modelle.
Was bedeuten Betrieb und Wartung?
Ein lokaler Server braucht eine zuständige Person. Dazu gehören Sicherheitsupdates, Zugriffsrechte, Überwachung, Sicherungen, Strom und Kühlung sowie regelmäßiges Prüfen, ob ein neues Modell besser ist. Die DSGVO gilt weiter: Art. 32 verlangt angemessene technische und organisatorische Maßnahmen. Das ist keine Rechtsberatung.
- Datenschutzbedarf und Datenarten benannt
- Monatliche Cloud-Kosten bei realer Nutzung ermittelt
- Gesamtkosten eines Servers über drei Jahre gerechnet
- Modellgröße und benötigten Speicher festgelegt
- Zuständigkeit für Updates, Sicherheit und Sicherungen geklärt
- Qualität mit eigenem Testsatz gegen ein Cloud-Modell geprüft
- Zwischenschicht eingeplant, damit Modelle austauschbar bleiben
Fazit: Erst testen, dann investieren
Lokale Modelle sind eine gute Option bei hohen Datenschutzanforderungen oder gleichmäßig hoher Nutzung, aber kein Selbstläufer. Beginnen Sie klein, vergleichen Sie mit der Cloud und planen Sie den Betrieb ein. Wenn Sie wissen möchten, was für Ihre Daten und Aufgaben sinnvoll ist, sehen Sie sich unsere KI-Automatisierung an oder schildern Sie uns Ihr Vorhaben. Wie Sie Modelle bewerten, beschreibt Neues KI-Modell bewerten.
