Wie groß ist der Kostenunterschied zwischen KI-Training und Inferenz?

Die KI-Inferenz kostet über die gesamte Lebensdauer eines Modells hinweg in der Regel mehr als das Training. Das Training ist ein einmaliger oder periodisch anfallender Aufwand, während die Inferenz bei jeder Anfrage eines Nutzers kontinuierlich läuft und einen fortlaufenden Strom an Rechenkosten erzeugt, der die ursprünglichen Kosten für das Training schnell übersteigt. Die Kluft zwischen diesen beiden Kostenkategorien ist eine der wichtigsten finanziellen Dynamiken, die Unternehmen verstehen müssen, bevor sie KI in großem Maßstab einsetzen. Im Folgenden erläutern wir die spezifische Hardware, die Skalierungsfaktoren und die Optimierungshebel, die die jeweilige Seite der Gleichung bestimmen.

Warum kostet die KI-Inferenz im Laufe der Zeit oft mehr als das Training?

Die KI-Inferenz kostet im Laufe der Zeit mehr als das Training, da das Training nur einmal stattfindet, während die Inferenz millionen- oder milliardenfach durchgeführt wird. Das Training eines großen Modells kann Wochen dauern und erhebliche Rechenleistung beanspruchen, doch sobald es abgeschlossen ist, sind diese Kosten feststehend. Die Inferenz hingegen wird jedes Mal ausgeführt, wenn ein Nutzer eine Eingabe sendet, eine Vorhersageanfrage stellt oder einen automatisierten Workflow auslöst, wodurch die Rechenleistung zu wiederkehrenden Betriebskosten wird, die direkt mit der Nutzung skalieren.

Die Kosten summieren sich schnell. Ein Modell, dessen Training mehrere Millionen Dollar an Rechenkosten verursacht hat, kann innerhalb weniger Monate Inferenzkosten verursachen, die diesen Betrag übersteigen, wenn es eine große Nutzerbasis bedient. Im Gegensatz zum Training, das außerhalb der Spitzenzeiten geplant und gebündelt werden kann, muss die Inferenz oft in Echtzeit reagieren, was eine ständig verfügbare Infrastruktur mit garantierter geringer Latenz erfordert. Diese Kombination aus Volumen, Häufigkeit und Latenzdruck macht die Inferenz zum dominierenden Kostentreiber für die meisten KI-Systeme im Produktivbetrieb.

Welche Hardware beeinflusst die Kosten für das KI-Training?

Die Kosten für das KI-Training werden in erster Linie durch High-End-GPU-Cluster bestimmt, meist NVIDIA A100- oder H100-Beschleuniger, sowie durch die Hochgeschwindigkeits-Verbindungen und Speichersysteme, die für die effiziente Übertragung riesiger Datensätze erforderlich sind. Trainings-Workloads sind rechenintensiv, aber vorhersehbar, wodurch sie sich gut für große, speziell für diesen Zweck konzipierte Cluster eignen, die einen einzelnen Auftrag über Tage oder Wochen hinweg ausführen.

Die Gesamtkosten für die Hardware im Rahmen der Ausbildung hängen von drei Faktoren ab, die zusammenwirken:

• Verbrauchte GPU-Stunden: Größere Modelle erfordern mehr Durchläufe über größere Datenmengen, was sich direkt auf die GPU-Zeit auswirkt.
• Bandbreite der Verbindung: Für das Training mit mehreren GPUs und mehreren Knoten sind schnelle Verbindungstechnologien wie NVLink oder InfiniBand erforderlich, um Engpässe zu vermeiden, die teure GPU-Zyklen verschwenden.
• Speicherdurchsatz: Um Trainingsdaten schnell genug zu laden, damit die GPUs voll ausgelastet bleiben, ist ein leistungsstarker verteilter Speicher erforderlich, was sowohl die Investitions- als auch die Cloud-Kosten erhöht.

In Cloud-Umgebungen werden Trainingsaufträge in der Regel nach GPU-Stunden abgerechnet. Unternehmen, die Trainings auf AWS, Azure oder GCP durchführen, zahlen einen Aufpreis für die leistungsstärksten Beschleuniger-Instanzen, und ineffiziente Trainingspipelines, bei denen die GPUs zwischen den einzelnen Batches ungenutzt bleiben, führen zu einer direkten Verschwendung dieser Ausgaben.

Welche Hardware bestimmt die Kosten für die KI-Inferenz?

Die Kosten für die KI-Inferenz hängen von der Hardware ab, die erforderlich ist, um Vorhersagen in großem Maßstab und mit geringer Latenz bereitzustellen. Je nach Modellgröße und Durchsatzanforderungen kann es sich dabei um GPUs, spezielle KI-Beschleuniger oder sogar CPUs handeln. Im Gegensatz zum Training muss die Inferenz-Hardware kontinuierlich verfügbar sein, was bedeutet, dass Unternehmen rund um die Uhr für die Kapazität zahlen und nicht nur während eines festgelegten Aufgabenfensters.

Die Wahl der Hardware für die Inferenz ist mit echten Kompromissen verbunden:

• GPUs: Flexibel und leistungsstark, aber im Dauerbetrieb kostspielig. Am besten geeignet für große Sprachmodelle oder Bildverarbeitungsmodelle, die pro Anfrage erhebliche parallele Rechenleistung erfordern.
• Maßgeschneiderte KI-Beschleuniger: Speziell entwickelte Chips wie die TPUs von Google oder AWS Inferentia bieten bei bestimmten Workloads bessere Kosten pro Inferenz, erfordern jedoch technischen Aufwand für die Optimierung.
• CPUs: Geeignet für kleinere oder quantisierte Modelle, bei denen die Anforderungen an die Latenzzeit weniger streng sind und der Durchsatz moderat ist. Deutlich günstiger pro Stunde, aber langsamer pro Anfrage.

Die Wahl der Inferenz-Hardware hat direkte und nachhaltige Auswirkungen auf die Cloud-Kostenmanagement Bild, da die Inferenz-Infrastruktur in der Produktion kontinuierlich läuft und nicht als zeitlich begrenzter Job.

Wie verhalten sich die Trainings- und Inferenzkosten bei verschiedenen Modellgrößen im Vergleich?

Sowohl die Trainings- als auch die Inferenzkosten skalieren mit der Modellgröße, jedoch auf unterschiedliche Weise. Die Trainingskosten steigen in etwa proportional zur Anzahl der Modellparameter multipliziert mit der Größe des Trainingsdatensatzes. Die Inferenzkosten steigen mit der Anzahl der Parameter, die pro Anfrage geladen und ausgeführt werden müssen, werden jedoch auch durch das Anfragevolumen, die Kontextlänge und die Anforderungen an die Parallelität beeinflusst.

Bei kleinen Modellen mit weniger als einer Milliarde Parametern ist das Training möglicherweise kostengünstig genug, um auf einem einzelnen GPU-Knoten durchgeführt zu werden, und die Inferenz kann oft auf CPU-Instanzen ausgeführt werden. Der Kostenunterschied zwischen Training und Inferenz ist in dieser Größenordnung relativ gering.

Bei großen Sprachmodellen mit mehreren zehn oder hundert Milliarden Parametern verschiebt sich die Dynamik erheblich. Die Trainingskosten können sich auf Millionen von Dollar an Rechenleistung belaufen, aber auch die Inferenzkosten pro Abfrage steigen stark an, da bei jeder Anfrage ein großer Teil der Gewichtsmatrix des Modells geladen und verarbeitet werden muss. Bei hohem Abfrageaufkommen können die Kosten für die Inferenz bereits innerhalb weniger Wochen nach der Einführung die Trainingskosten übersteigen. Aus diesem Grund investieren Unternehmen, die Modelle im „Frontier-Scale“-Bereich betreiben, massiv in Techniken zur Optimierung der Inferenz wie Quantisierung, Destillation und Caching, die im Folgenden behandelt werden.

Welche Faktoren führen dazu, dass die Kosten für KI-Inferenz unerwartet in die Höhe schnellen?

Die Kosten für KI-Inferenz steigen unerwartet an, wenn sich Nutzungsmuster, die Komplexität der Anfragen oder die Infrastrukturkonfiguration in einer Weise ändern, die bei der Kapazitätsplanung nicht vorhergesehen wurde. Zu den häufigsten Auslösern zählen ein plötzlicher Anstieg der Nutzernachfrage, längere Eingabe- oder Ausgabesequenzen, als das Modell ausgelegt ist, sowie Auto-Scaling-Konfigurationen, bei denen teure GPU-Instanzen schneller bereitgestellt werden, als sie benötigt werden.

Einige konkrete Faktoren sollten genau beobachtet werden:

• Zunahme der Kontextlänge: Viele große Sprachmodelle berechnen Gebühren oder verbrauchen Rechenleistung proportional zur Anzahl der verarbeiteten Token. Wenn Nutzer längere Eingabeaufforderungen senden oder sich im Laufe der Zeit mehr Kontext in den Unterhaltungen ansammelt, steigen die Kosten pro Anfrage, ohne dass sich die Anzahl der Anfragen ändert.
• Unkontrollierte automatische Skalierung: Cloud-Inferenz-Endpunkte, die sich bei Bedarf automatisch skalieren, können bei Traffic-Spitzen große GPU-Instanzen bereitstellen und anschließend nicht rechtzeitig wieder herunterfahren, wodurch teure Kapazitäten ungenutzt bleiben.
• Überflüssige oder doppelte Anfragen: Anwendungen, die pro Benutzeraktion mehrere API-Aufrufe ausführen oder bei wiederholten Abfragen keine Zwischenspeicherung nutzen, vervielfachen den Rechenaufwand, ohne einen Mehrwert für den Benutzer zu schaffen.
• Upgrades für Modellversionen: Ein Wechsel zu einer größeren oder leistungsfähigeren Modellvariante während des Einsatzes erhöht die Rechenleistung pro Anfrage, ohne dass dies mit einer entsprechenden Verbesserung der Transparenz bei der Abrechnung einhergeht.

Diese Spitzen lassen sich ohne geeignete Kennzeichnungs- und Zuordnungsverfahren nur schwer erfassen, da die Kosten für Inferenzvorgänge in den Abrechnungsdashboards der Cloud-Anbieter oft als undifferenzierte GPU- oder API-Kosten ausgewiesen werden.

Wie können Unternehmen die Kosten für KI-Inferenz senken, ohne die Modelle neu zu trainieren?

Unternehmen können die Kosten für KI-Inferenz erheblich senken, ohne das Modell neu trainieren zu müssen, indem sie Optimierungstechniken auf der Serving-Ebene anwenden, darunter Modellquantisierung, Antwort-Caching, Batch-Verarbeitung von Anfragen und die Anpassung der Inferenzinfrastruktur an die tatsächlichen Arbeitslastmuster. Diese Ansätze senken die Kosten pro Anfrage, ohne die Gewichte des Modells zu ändern oder einen neuen Trainingsdurchlauf zu erfordern.

Zu den wirkungsvollsten Techniken gehören:

• Quantisierung: Durch die Reduzierung der numerischen Genauigkeit der Modellgewichte von 32-Bit- oder 16-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen lassen sich der Speicherbedarf senken und die Inferenz beschleunigen, oft bei nur minimalen Auswirkungen auf die Ausgabequalität.
• Caching von Antworten: Speicherung der Ergebnisse häufiger oder wiederkehrender Abfragen, sodass identische Anfragen aus dem Cache bedient werden, anstatt einen neuen Inferenzaufruf auszulösen. Dies ist besonders effektiv bei Anwendungsfällen mit vorhersehbaren Abfragemustern.
• Batch-Verarbeitung von Anfragen: Das Zusammenfassen mehrerer Abfrageanfragen, damit die GPU diese parallel statt nacheinander verarbeitet. Das Batching verbessert die Hardwareauslastung und senkt die Kosten pro Anfrage, geht jedoch mit einer geringfügigen Erhöhung der Latenz einher.
• Modell-Destillation: Einsatz eines kleineren Modells, das so trainiert wurde, dass es das Verhalten eines größeren Modells nachahmt. Dies ist zwar mit einem gewissen Trainingsaufwand verbunden, jedoch weitaus kostengünstiger als das Training des Originalmodells und kann den Rechenaufwand bei der Inferenz um eine Größenordnung reduzieren.
• Optimierung der Infrastruktur: Die Instanztypen und -größen sollten an die tatsächlichen Anforderungen hinsichtlich Durchsatz und Latenz angepasst werden, anstatt standardmäßig die größte verfügbare GPU zu wählen. Viele Inferenz-Workloads lassen sich effizient auf kleineren oder CPU-basierten Instanzen ausführen.

So unterstützen wir Sie bei der Steuerung Ihrer Kosten für KI und Cloud-Computing

Die Steuerung der Kosten für KI-Inferenz ist im Grunde eine Herausforderung für das Finanzmanagement in der Cloud. Die Kosten sind dynamisch, verteilen sich auf verschiedene Teams und lassen sich ohne eine geeignete Governance-Struktur nur schwer zuordnen. Genau hier unterstützen wir Unternehmen dabei, die erforderlichen Fähigkeiten aufzubauen.

Durch unsere FinOps-Dienstleistungen, unterstützen wir Sie dabei, über die reine Transparenz der Cloud-Kosten hinaus zu einem aktiven Kostenmanagement zu gelangen, das neben Ihren übrigen Cloud-Ausgaben auch KI-Workloads umfasst. Konkret helfen wir Ihnen dabei:

• Ordnen Sie die Kosten für Inferenz und Training genau den Teams und Produkten zu, die sie verursachen, damit die Verantwortlichkeiten klar sind.
• Ermitteln Sie Möglichkeiten zur Optimierung der Instanzgrößen für GPU- und CPU-Inferenzinstanzen auf AWS, Azure und GCP
• Schaffen Sie einen regelmäßigen Entscheidungsrhythmus, der die Bereiche Finanzen, IT und Technik zusammenbringt, um die Ausgaben für KI zu überprüfen und Optimierungsmöglichkeiten umzusetzen.
• Integrieren Sie die Kosten- und KI-Daten aus der Cloud in ein umfassenderes Rahmenkonzept für das Technology Business Management, damit die Führungskräfte einen vollständigen Überblick über das Kosten-Nutzen-Verhältnis erhalten.

Wenn Ihr Unternehmen KI-Workloads ausbaut und feststellt, dass die Kosten für die Inferenz schneller steigen als erwartet, Nehmen Sie Kontakt mit uns auf um zu besprechen, wie wir Ihnen dabei helfen können, die entsprechenden Steuerungsmechanismen und Werkzeuge aufzubauen, um diese Kosten in den Griff zu bekommen.