GPU-Cloud

Kurz beantwortet

Eine GPU-Cloud stellt Grafikprozessoren für KI-Training und -Betrieb als Mietleistung bereit, abgerechnet nach Nutzungszeit; das lohnt sich, wenn Rechenbedarf nur zeitweise anfällt oder eigene Hardware zu teuer wäre. Entscheidend für die Auswahl sind passende GPU-Klassen, Kostenkontrolle, Serverstandort und ein Vertrag zur Auftragsverarbeitung.

Warum KI-Anwendungen besondere Anforderungen an die Infrastruktur stellen

Rechenintensive Trainingszyklen und parallele Verarbeitung

Ein neuronales Netz durchläuft beim Training sehr viele Durchgänge, in denen es seine Gewichtungen anpasst. Jeder Durchgang besteht vor allem aus Matrizenmultiplikationen, also vielen gleichartigen Rechenschritten, die sich parallel ausführen lassen. Herkömmliche Prozessoren (CPU) haben wenige, sehr flexible Rechenkerne; Grafikprozessoren (GPU) haben tausende einfachere Kerne, die genau solche Aufgaben gleichzeitig erledigen. Deshalb sind GPUs für KI-Training und für den Betrieb großer Modelle die Standardhardware.

Cloud-Anbieter stellen diese Hardware virtualisiert bereit, ohne dass ein eigener Serverraum nötig ist. Wer etwa ein Sprachmodell anpassen oder eigene Bilddaten auswerten will, braucht kurzfristig viel GPU-Kapazität. Eine Cloud GPU liefert diese Leistung flexibel und nach Nutzungsdauer abgerechnet, was gerade für mittelständische Unternehmen ohne eigenes Rechenzentrum Kosten sparen kann.

Schwankender Bedarf statt fester Serverkapazität

KI-Projekte haben stark schwankende Lastprofile. Während des Trainings ist die Hardware voll ausgelastet, im laufenden Betrieb (Inferenz) sinkt der Bedarf oft deutlich, und zwischen Projekten liegt er bei null. Eigene Server müssen für die Spitzenlast gekauft werden und stehen den Rest der Zeit ungenutzt. In der Cloud werden Ressourcen bei Bedarf hochgefahren und nach der Aufgabe wieder freigegeben. Das spart Kosten für Anschaffung, Strom, Kühlung und Wartung. Wie sich ein solcher Infrastrukturwechsel in die gesamte Digitalisierung einordnet, beschreibt unser Leitfaden zur Digitalisierung.

GPU-Umgebungen als Grundlage für maschinelles Lernen

Warum Grafikprozessoren den Unterschied machen

Verbreitete KI-Frameworks wie PyTorch oder TensorFlow sind darauf ausgelegt, Berechnungen auf GPUs auszuführen. Wie viel schneller das Training dadurch wird, hängt stark vom Modell, von der Datenmenge und von der verglichenen Hardware ab; bei großen Modellen ist der Unterschied so groß, dass Training ohne GPU praktisch nicht in Frage kommt. In Cloud-Umgebungen stehen verschiedene GPU-Klassen zur Wahl, von günstigen Einstiegsmodellen für kleinere Aufgaben bis zu Verbünden aus mehreren GPUs für große Modelle. Ein wichtiges Kriterium ist der Grafikspeicher (VRAM): Das Modell und ein Teil der Daten müssen hineinpassen, sonst bremst ständiges Nachladen.

Container und automatisierte Abläufe

Neben der Rechenleistung zählt die Softwareumgebung. Container-Technik wie Docker und Orchestrierung wie Kubernetes erlauben es, KI-Modelle in standardisierten, reproduzierbaren Umgebungen zu betreiben. Ein lokal entwickeltes Modell lässt sich so samt aller Bibliotheken in die Cloud übertragen. Automatisierte Abläufe für Datenaufbereitung, Training, Prüfung und Bereitstellung verkürzen Entwicklungszyklen und vermeiden Fehler bei Handarbeit. Forschungseinrichtungen arbeiten an solchen Ansätzen auch für die Industrie, etwa das Fraunhofer IGCV in seiner angewandten KI-Forschung im Produktionsumfeld.

Fünf Strategien für KI-Projekte in der Cloud

1. Unterbrechbare Kapazitäten für Training nutzen: Viele Anbieter verkaufen freie Kapazität günstiger, können sie aber kurzfristig zurückholen. Regelmäßige Zwischenstände (Checkpoints) sichern den Fortschritt, damit ein Abbruch nicht von vorn beginnen lässt.
2. Daten nah an die Rechenleistung legen: Trainingsdaten und GPU-Instanzen im selben Rechenzentrum oder derselben Region halten, damit die GPU nicht auf Daten wartet und keine Kosten für Datenübertragung anfallen.
3. Mit geringerer Genauigkeit rechnen, wo es geht: Mixed-Precision-Training rechnet Teile in 16 statt 32 Bit. Das halbiert den Speicherbedarf dieser Werte und beschleunigt das Training auf geeigneter Hardware.
4. Kosten laufend überwachen: Budgets, Warnungen und automatisches Abschalten ungenutzter Instanzen verhindern, dass eine vergessene Instanz über das Wochenende Kosten verursacht.
5. Modelle für den Betrieb verkleinern: Verfahren wie Quantisierung, Pruning oder Distillation verringern Modellgröße und Betriebskosten, oft mit geringem Qualitätsverlust.

Durchsatz, Latenz und Speicher: die wichtigen Kennzahlen

Die passende Konfiguration lässt sich nur mit messbaren Kennzahlen bestimmen. Beim Training zählt vor allem der Durchsatz, also wie viele Datensätze je Sekunde verarbeitet werden. Verteilt man das Training auf mehrere GPUs, sollte der Durchsatz annähernd mit der Zahl der GPUs steigen; bleibt er deutlich dahinter zurück, bremst die Kommunikation zwischen den Prozessoren.

Im Betrieb steht die Latenz im Vordergrund, also die Zeit bis zur Antwort. Beantwortet ein Modell Kundenanfragen in Echtzeit, merken Nutzer jede Verzögerung. Rechenzentren in der Nähe der Nutzer verkürzen die Netzwege. Bei der Aufbereitung großer Datensätze zählt außerdem die Lesegeschwindigkeit des Speichers: Schnelle SSD-Speicher sorgen dafür, dass die GPU nicht auf Daten wartet. Wie sich Digitalisierung und Automatisierung verbinden, zeigt sich bei solchen datengetriebenen Abläufen besonders deutlich.

Worauf Unternehmen bei der Auswahl achten

• GPU-Klassen und Speicher: passende Modelle mit ausreichend Grafikspeicher, auch einzelne GPUs für kleine Aufgaben.
• Abrechnung: nach Minuten oder Stunden, Preise für Speicher und Datenübertragung, Mindestlaufzeiten, Kostenwarnungen.
• Verfügbarkeit: ob die gewünschte GPU-Klasse bei Bedarf tatsächlich frei ist oder reserviert werden muss.
• Serverstandort und Datenschutz: Verarbeitung in der EU, Vertrag zur Auftragsverarbeitung, wenn personenbezogene Daten im Spiel sind (Art. 28 DSGVO), Regeln für Übermittlungen in Drittländer.
• Sicherheit: Zugriffsrechte, Verschlüsselung, Protokolle, Nachweise wie Zertifizierungen des Rechenzentrums.
• Software und Werkzeuge: vorbereitete Images mit gängigen Frameworks, Container-Unterstützung, Schnittstellen.
• Support: erreichbar, auf Deutsch, mit Erfahrung bei KI-Workloads.
• Ausstieg: Daten und Modelle lassen sich ohne Hindernisse exportieren.

Wer KI-Systeme im Betrieb einsetzt, muss seit 02.02.2025 außerdem dafür sorgen, dass die Beteiligten über ausreichende KI-Kompetenz verfügen (Art. 4 der KI-Verordnung). Das gilt unabhängig davon, ob das Modell in der Cloud oder auf eigener Hardware läuft.

Kosten vorab abschätzen

GPU-Stunden sind teuer, und die Rechnung wächst unbemerkt, wenn Instanzen weiterlaufen. Eine grobe Schätzung vor dem Start schützt vor Überraschungen:

1. Testlauf messen: ein kleines Training oder einen Ausschnitt der Daten auf einer GPU laufen lassen und die Dauer messen.
2. Hochrechnen: aus Testdauer, Datenmenge und Zahl der Durchgänge die nötigen GPU-Stunden schätzen und mit dem Stundenpreis multiplizieren.
3. Nebenkosten addieren: Speicher für Daten und Zwischenstände, Datenübertragung aus der Cloud heraus, Betrieb nach dem Training.
4. Puffer einplanen: Wiederholungen nach Fehlern und Anpassungen kommen fast immer vor.
5. Grenze setzen: ein Budget mit Warnung und automatischem Stopp beim Anbieter einrichten.

Vergleichen Sie das Ergebnis mit den Kosten, die eigene Hardware über ihre Nutzungsdauer verursachen würde, einschließlich Strom, Kühlung, Wartung und der Zeit, in der sie ungenutzt steht. Bei seltenen oder schwer planbaren Projekten fällt der Vergleich meist zugunsten der Cloud aus, bei dauerhaft hoher Last nicht unbedingt.

Der richtige Zeitpunkt für den Umstieg

Nicht jedes Unternehmen muss seine Infrastruktur auf einmal verlagern. Bewährt hat sich, zunächst einzelne Trainingsläufe oder Experimente in die Cloud zu geben und produktive Systeme weiter dort zu betreiben, wo sie laufen. Mit wachsender Erfahrung folgen weitere Aufgaben. Der Umstieg liegt besonders nahe, wenn eigene Hardware keine aktuellen GPUs hat, wenn der Bedarf stark schwankt oder wenn ein Projekt erst zeigen soll, ob es sich lohnt. Für dauerhaft hohe, gleichmäßige Last kann eigene Hardware oder eine reservierte Kapazität günstiger sein; das lässt sich mit den Preisen der Anbieter und dem eigenen Lastprofil nachrechnen. Wichtig ist, die Architektur von Anfang an so zu planen, dass Daten, Modelle und Abläufe beweglich bleiben.

Häufige Fragen

Quellen

1. Gesetz Verordnung (EU) 2024/1689 (KI-Verordnung)Art. 4, Art. 113 · Amt für Veröffentlichungen der EU · abgerufen 16.10.2026
2. Gesetz Datenschutz-Grundverordnung (EU) 2016/679Art. 28 DSGVO · Amt für Veröffentlichungen der EU · abgerufen 16.10.2026
3. Behörde Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (aktualisiert 21.01.2025)Bundesamt für Sicherheit in der Informationstechnik · abgerufen 16.10.2026

Mehr dazu

• KI-Werkzeuge KI-Werkzeuge für kleine Unternehmen →
• KI im Unternehmen KI im Unternehmen →
• KI und Digitalisierung im Mittelstand KI und Digitalisierung im Mittelstand →