KI-Modelle bestehen im Kern aus riesigen Mengen gleichartiger Rechenschritte mit Zahlentabellen (Matrizen), und Grafikprozessoren (GPUs) können solche Schritte tausendfach gleichzeitig ausführen, während normale Prozessoren sie nacheinander abarbeiten. Deshalb lassen sich Sprachmodelle praktisch nur mit GPUs oder ähnlichen Beschleunigern trainieren und betreiben. Die Folgen spüren Sie als Unternehmen bei Preisen, Verfügbarkeit und Energiebedarf.
Warum sind GPUs besser für KI als normale Prozessoren?
Eine CPU hat wenige, sehr flexible Kerne und erledigt Aufgaben schnell nacheinander. Eine GPU hat tausende einfachere Kerne und führt viele gleichartige Rechnungen parallel aus. Ursprünglich wurde sie für Grafik entwickelt, bei der Millionen Bildpunkte gleichzeitig berechnet werden. Neuronale Netze bestehen zum größten Teil aus Matrixmultiplikationen, einer ähnlich parallelen Rechenart.
| Chip | Stärke | Typischer Einsatz |
|---|---|---|
| CPU | Flexibel, schnell bei Einzelaufgaben | Betriebssystem, Büroanwendungen, Steuerung |
| GPU | Viele gleichartige Rechnungen parallel | Grafik, Training und Betrieb von KI-Modellen |
| KI-Beschleuniger | Für KI-Rechnungen spezialisiert, etwa TPUs | Große Rechenzentren der Anbieter |
Mehr zu Hintergrund und Begriffen bietet die Übersicht zu Grafikprozessoren. Wie Sprachmodelle arbeiten, erklärt Was ist ein LLM?.
Warum entscheidet der Grafikspeicher?
Damit ein Modell läuft, müssen seine Parameter im schnellen Speicher der GPU liegen. Als grobe Faustregel brauchen Sie Speicher in der Größenordnung von Parameterzahl mal Bytes pro Parameter. Ein Modell mit sieben Milliarden Parametern benötigt in 16-Bit-Genauigkeit rund 14 Gigabyte, in vierfach verkleinerter Darstellung (Quantisierung) etwa ein Viertel davon. Hinzu kommt Speicher für den Kontext der Anfrage. Das erklärt, warum große Modelle Serverkarten brauchen und kleinere Modelle auf einem Arbeitsplatzrechner laufen. Mehr zum Kontext lesen Sie in Tokens und Kontextfenster erklärt.
Was ist beim Training anders als beim Betrieb?
Das Training eines großen Modells dauert oft Wochen bis Monate auf sehr vielen GPUs und ist für die Anbieter der größte Kostenblock. Der Betrieb (Inferenz) braucht pro Anfrage weniger, summiert sich aber bei vielen Nutzern. Für Sie zählt der Betrieb: Jede Anfrage belegt Rechenzeit, deshalb rechnen Anbieter nach Tokens ab. Kleinere, effizientere Modelle, Zwischenspeicherung wiederkehrender Anfragen und gebündelte Verarbeitung senken den Aufwand.
Warum sind Chips und Rechenzentren ein Engpass?
Moderne KI-Chips und der dazugehörige schnelle Speicher werden nur von wenigen Betrieben gefertigt, der Aufbau von Produktionskapazität dauert Jahre. Gleichzeitig ist die Nachfrage gestiegen. Rechenzentren brauchen außerdem Strom, Kühlung und Netzanschlüsse. Die Internationale Energieagentur erwartet in ihrem Bericht Energy and AI, dass sich der Stromverbrauch von Rechenzentren bis 2030 mehr als verdoppelt. KI ist dabei ein wesentlicher Treiber, aber nicht der einzige.
Was bedeutet das für Preise in Ihrem Unternehmen?
Preise für KI-Dienste hängen von Nachfrage, Hardwarekosten und Effizienz der Modelle ab. Effizientere Modelle und Hardware können Preise senken, knappe Rechenleistung kann sie stützen. Sicher vorhersagen lässt sich das nicht. Planen Sie deshalb mit Nutzungsgrenzen, beobachten Sie Kosten in den ersten Wochen und wählen Sie für einfache Aufgaben kleinere Modelle. Ob eigene Hardware eine Alternative ist, klärt Lokale KI-Modelle: Wann der eigene Server die Cloud schlägt.
- Aufgaben nach Schwierigkeit sortiert, einfache Aufgaben mit kleineren Modellen geprüft
- Monatliche Kosten einer typischen Nutzung gemessen
- Nutzungsgrenzen und Budgetwarnung beim Anbieter eingerichtet
- Abhängigkeit von einem Anbieter geprüft, Wechsel vorbereitet
- Eigene Hardware nur bei hoher, gleichmäßiger Nutzung oder Datenschutzbedarf erwogen
Fazit: Rechenleistung ist die Grundlage, nicht Ihre Aufgabe
Als Unternehmen müssen Sie keine GPUs kaufen, aber verstehen, warum Rechenleistung Preise und Verfügbarkeit prägt. Planen Sie mit Grenzen, beobachten Sie Kosten und halten Sie den Wechsel offen. Wenn Sie KI wirtschaftlich in Abläufe einbauen möchten, sehen Sie sich unsere KI-Automatisierung an oder schildern Sie uns Ihr Vorhaben.
