Wie lassen sich die Kosten für Cloud-basierte Machine-Learning-Workloads senken?

Sie können die Kosten für Cloud-basierte Machine-Learning-Workloads senken, indem Sie die Rechenressourcen optimal dimensionieren, Trainings- und Inferenzumgebungen voneinander trennen, ungenutzte Infrastruktur beseitigen und FinOps-Governance anwenden, um eine klare Verantwortlichkeit zwischen den Entwicklungs- und Finanzteams zu schaffen. Die größten Einsparungen ergeben sich daraus, dass die Rechenkosten für ML als kontrollierter Bereich und nicht als unkontrolliertes Nebenprodukt von Experimenten behandelt werden. In den folgenden Abschnitten werden diese Hebel im Detail erläutert.

Was macht Cloud-basierte Machine-Learning-Workloads so teuer?

Cloud-basierte Machine-Learning-Workloads sind kostspielig, da sie große Mengen an GPU- und CPU-Rechenleistung beanspruchen – oft in unvorhersehbaren Spitzen – und zudem erhebliche Kosten für Speicherplatz und Datenübertragung verursachen. Im Gegensatz zu Standard-Anwendungs-Workloads kombinieren ML-Pipelines rechenintensive Trainingsaufträge, ständig aktive Inferenz-Endpunkte und Operationen mit großen Datensätzen, die jeweils ein eigenes Kostenprofil aufweisen.

Es gibt mehrere Faktoren, die dazu führen, dass die Kosten für Cloud-ML höher ausfallen, als die Teams erwarten:

• Kosten für GPU-Instanzen: Hochleistungs-GPU-Instanzen können pro Stunde ein Vielfaches dessen kosten, was Standard-Rechenleistung kostet, und Trainingsläufe können Stunden oder Tage dauern.
• Ungenutzte Ressourcen: Notebooks, Entwicklungsumgebungen und Inferenz-Endpunkte laufen häufig, ohne dass sie aktiv genutzt werden, wodurch Kosten entstehen, ohne dass ein Nutzen daraus entsteht.
• Datenübertragung und -speicherung: Große Trainingsdatensätze, die in einem Cloud-Objektspeicher abgelegt sind, führen in Verbindung mit wiederholten Datenübertragungen zwischen den Diensten schnell zu einem erheblichen Datenvolumen.
• Aufwand für Experimente: Data-Science-Teams führen zahlreiche Experimente durch, von denen die meisten scheitern oder abgebrochen werden – dennoch fallen bei jedem Durchlauf echte Rechenkosten an.
• Fehlende Kennzeichnung und Zuordnung: Ohne eine ordnungsgemäße Kostenzuordnung können Teams nicht erkennen, welche Modelle, Projekte oder Experimente die Ausgaben verursachen, sodass es unmöglich ist, Prioritäten für die Optimierung zu setzen.

Das hat zur Folge, dass die Ausgaben für Cloud-ML oft schneller steigen als der geschäftliche Nutzen, den sie generieren – insbesondere dann, wenn es keine Governance-Struktur gibt, die technische Entscheidungen mit finanziellen Ergebnissen verknüpft.

Inwiefern senkt Rightsizing die Rechenkosten für maschinelles Lernen?

Durch „Rightsizing“ lassen sich die Rechenkosten für maschinelles Lernen senken, indem der Instanztyp und die Instanzgröße an den tatsächlichen Ressourcenbedarf der jeweiligen Arbeitslast angepasst werden, wodurch die Verschwendung durch überdimensionierte Maschinen vermieden wird. Viele Teams greifen aus Gewohnheit oder Vorsicht standardmäßig auf große GPU-Instanzen zurück, selbst wenn kleinere Instanzen oder CPU-basierte Rechenleistung die Aufgabe ebenfalls angemessen erfüllen würden.

In der Praxis umfasst die bedarfsgerechte Dimensionierung von ML-Workloads mehrere konkrete Maßnahmen:

• Analyse von Trainingsaufträgen zur Ermittlung der tatsächlichen GPU-Speicher- und CPU-Auslastung vor der Auswahl von Instanztypen
• Verwendung kleinerer Instanzfamilien für die Datenvorverarbeitung und das Feature-Engineering, die nur selten eine GPU-Beschleunigung erfordern
• Umstellung auf Spot- oder Preemptible-Instanzen für fehlertolerante Trainingsaufträge, wodurch sich die Rechenkosten im Vergleich zu On-Demand-Preisen um 60 bis 80 Prozent senken lassen
• Entwicklungs-Notebooks und Inferenz-Endpunkte automatisch herunterfahren, wenn sie nicht genutzt werden
• Dynamische Skalierung der Inferenz-Endpunkte auf Basis des Datenverkehrs, anstatt stets für Spitzenauslastung vorzusorgen

Die bedarfsgerechte Ressourcenanpassung ist kein einmaliger Vorgang. Da sich Modelle weiterentwickeln und sich die Arbeitsauslastungsmuster ändern, ändert sich auch die optimale Ressourcenkonfiguration. Durch die Einbindung regelmäßiger Überprüfungen in Ihren ML-Betriebsprozess stellen Sie sicher, dass Entscheidungen zur bedarfsgerechten Ressourcenanpassung stets aktuell bleiben und sich die Kosteneinsparungen im Laufe der Zeit summieren.

Was ist der Unterschied zwischen Trainingskosten und Inferenzkosten in der Cloud?

Die Trainingskosten sind die Rechenkosten für die Erstellung eines Modells, bei denen es sich in der Regel um einen umfangreichen, zeitlich begrenzten Spitzenbedarf an GPU-Leistung handelt. Die Inferenzkosten sind die laufenden Kosten für die Bereitstellung dieses Modells für Nutzer oder Systeme; sie können kontinuierlich anfallen und skalieren mit dem Anforderungsvolumen. Beide weisen grundlegend unterschiedliche Kostenstrukturen auf und erfordern unterschiedliche Optimierungsstrategien.

Optimierung der Schulungskosten

Trainingsläufe sind eigenständige Vorgänge, die Sie planen, unterbrechen und wiederholen können. Dadurch eignen sie sich besonders gut für Spot- oder Preemptible-Instanzen, die im Gegenzug für die Möglichkeit einer Unterbrechung erhebliche Preisnachlässe bieten. Sie können die Trainingskosten außerdem durch den Einsatz von Mixed-Precision-Training senken, bei dem Daten in Formaten mit geringerer Genauigkeit verarbeitet werden, um die Berechnung zu beschleunigen und den Speicherbedarf zu reduzieren. Die Wahl der richtigen Kombination aus Framework und Hardware – beispielsweise die Abstimmung von TensorFlow- oder PyTorch-Workloads auf die GPU-Architektur, auf der sie am besten laufen – hat ebenfalls einen messbaren Einfluss auf die Kosten pro Trainingslauf.

Optimierung der Inferenzkosten

Die Inferenz lässt sich schwerer optimieren, da sie reaktionsschnell bleiben muss. Die wirksamsten Hebel sind Modellkomprimierungstechniken wie Quantisierung und Pruning, die den Rechenaufwand pro Vorhersage reduzieren, ohne die Genauigkeit nennenswert zu beeinträchtigen. Das Bündeln von Inferenzanfragen anstelle der Einzelverarbeitung verbessert den Durchsatz und senkt die Kosten pro Vorhersage. Bei Workloads mit schwankendem Datenverkehr lassen sich durch die automatische Skalierung der Inferenz-Endpunkte auf null in ruhigen Phasen und die bedarfsgerechte Skalierung ein Großteil der Kosten im Leerlauf vermeiden.

Zu verstehen, welche der beiden Kategorien die Herausforderung beim Kostenmanagement für Cloud-KI in Ihrem Unternehmen bestimmt, ist der Ausgangspunkt für jede sinnvolle Maßnahme zur Kostensenkung. Viele Unternehmen konzentrieren sich auf das Training, da dies sichtbar ist und sich deutlich bemerkbar macht, doch oft machen die Kosten für die Inferenz den größten Teil der gesamten ML-Ausgaben in Produktionsumgebungen aus.

Wie lassen sich FinOps-Verfahren auf Machine-Learning-Workloads anwenden?

FinOps-Praktiken lassen sich auf Machine-Learning-Workloads anwenden, indem eine gemeinsame Verantwortung für die Cloud-Ausgaben zwischen den Teams aus den Bereichen Data Science, Engineering und Finanzen geschaffen wird und ein regelmäßiger Entscheidungsrhythmus hinsichtlich der Abwägung von Kosten, Leistung und Nutzen etabliert wird. Ohne diese Steuerung steigen die ML-Cloud-Ausgaben unkontrolliert an, da die Teams, die die Kosten verursachen, nicht für die Verwaltung der Budgets verantwortlich sind.

Bewerbung FinOps für ML-Workloads umfasst in der Regel folgende Schritte:

1. Jede Ressource mit einem Tag versehen: Weisen Sie jedem ML-Job, jedem Notebook, jedem Datensatz und jedem Endpunkt Kostenverrechnungs-Tags nach Team, Projekt und Modell zu. Ohne diese Zuordnung können Sie die Ausgaben nicht den Arbeiten zuordnen, durch die sie entstanden sind.
2. Legen Sie einen Rhythmus für die Kostenüberprüfung fest: Führen Sie regelmäßige Besprechungen durch, in denen die Technik- und Finanzteams gemeinsam die Ausgaben für maschinelles Lernen prüfen, Auffälligkeiten identifizieren und auf der Grundlage von Kosten-Nutzen-Kennzahlen Prioritäten festlegen.
3. Ausgabegrenzen und Benachrichtigungen festlegen: Richten Sie Budgetwarnungen auf Projekt- oder Teamebene ein, damit außer Kontrolle geratene Schulungsaufträge oder vergessene Endpunkte schnell erkannt werden und nicht erst am Monatsende entdeckt werden.
4. Kosten und Ergebnisse miteinander verknüpfen: Verfolgen Sie die Kosten jedes in der Entwicklung befindlichen Modells im Verhältnis zu dem erwarteten geschäftlichen Nutzen, um Experimente mit geringem Nutzen leichter zurückstellen zu können, bevor sie einen erheblichen Teil des Budgets beanspruchen.

Bei FinOps für maschinelles Lernen geht es nicht nur darum, Kosten zu senken. Es geht darum, sicherzustellen, dass jeder Dollar, der für ML-Cloud-Ausgaben ausgegeben wird, eine bewusste Investition ist und keine unüberlegte Ausgabe.

Welche Methoden zur Optimierung der Cloud-Kosten eignen sich am besten für ML-Pipelines?

Die Techniken zur Optimierung der Cloud-Kosten, die sich am besten für ML-Pipelines eignen, sind die Nutzung von Spot-Instanzen für das Training, die Pipeline-Orchestrierung zur Vermeidung von Rechenkapazitäten im Leerlauf, Richtlinien zum Speicherlebenszyklus für Datensätze sowie eine auf Verpflichtungen basierende Preisgestaltung für vorhersehbare Inferenz-Workloads. Die richtige Kombination hängt von der Struktur Ihrer Pipeline und davon ab, wie vorhersehbar Ihre Workload-Muster sind.

Hier sind die Methoden, die bei der Kostensenkung für ML-Workloads durchweg die besten Ergebnisse liefern:

• Spot- und Preemptible-Instanzen: Verwenden Sie diese für Trainingsaufgaben, bei denen Checkpoints gesetzt und der Vorgang fortgesetzt werden kann. Der Preisvorteil ist beträchtlich, und das Zuverlässigkeitsrisiko lässt sich mit einer geeigneten Checkpoint-Logik in Grenzen halten.
• Pipeline-Orchestrierung: Tools, die Rechenkapazitäten nur dann bereitstellen, wenn ein Pipeline-Schritt dies erfordert, und diese unmittelbar danach wieder abbauen, beseitigen die Leerlaufzeiten, die entstehen, wenn Teams die Rechenkapazitäten manuell verwalten.
• Speicherebenen: Verschieben Sie Trainingsdatensätze, die nicht aktiv genutzt werden, in kostengünstigere Speicherebenen. Große Datensätze, die nach Projektende noch monatelang in Premium-Speicherebenen gespeichert bleiben, sind reine Verschwendung.
• Rabatte für reservierte oder fest zugesagte Nutzung: Bei Inferenz-Endpunkten, die kontinuierlich laufen, lassen sich durch eine Nutzungszusage für ein oder drei Jahre die Stundenkosten im Vergleich zu den On-Demand-Tarifen erheblich senken.
• Modelloptimierung vor der Bereitstellung: Die Quantisierung und Komprimierung von Modellen vor deren Einsatz in der Produktion reduziert den Rechenaufwand pro Inferenzanfrage und senkt so die laufenden Betriebskosten, ohne dass Änderungen an der Infrastruktur erforderlich sind.
• Verfolgung und Bereinigung von Experimenten: Nutzen Sie Tools zur Experimentverfolgung, um Trainingsläufe mit geringer Leistung frühzeitig zu erkennen und abzubrechen, und vermeiden Sie so die Kosten für die Durchführung von Experimenten bis zum Ende, wenn frühe Kennzahlen auf ein Scheitern hindeuten.

Wie schafft man eine kostenbewusste Kultur in ML- und Data-Science-Teams?

Sie schaffen eine kostenbewusste Kultur in ML- und Data-Science-Teams, indem Sie die Cloud-Ausgaben auf Einzel- und Teamebene transparent machen, die Kosten direkt mit dem Wert der geleisteten Arbeit verknüpfen und die Hindernisse beseitigen, die kostenbewusstes Verhalten schwieriger machen als kostenunbewusstes Verhalten. Kultur folgt der Struktur; daher besteht das Ziel darin, Systeme so zu gestalten, dass die Standardverhalten gleichzeitig auch die kosteneffizientesten sind.

Zu den konkreten Maßnahmen, die zu einer dauerhaften Verhaltensänderung führen, gehören:

• Kosten-Dashboards in Echtzeit mit Data-Science-Teams teilen, damit Ingenieure die finanziellen Auswirkungen ihrer Ressourcenentscheidungen unmittelbar bei der Entscheidungsfindung erkennen können
• Einbeziehung von Kostenkennzahlen neben den Leistungskennzahlen der Modelle in die Experimentverfolgung, sodass die Kosten pro Genauigkeit zu einer Standarddimension der Modellbewertung wird
• Festlegung von Cloud-Budgets auf Teamebene und Gewährung von Autonomie für die Teams bei der Verwaltung dieser Budgets, wodurch Eigenverantwortung gefördert wird, ohne dass für jede Entscheidung eine zentrale Genehmigung erforderlich ist
• Erfolge bei der Kostenoptimierung ebenso anerkennen und würdigen wie Verbesserungen der Modellgenauigkeit, um zu signalisieren, dass Kostendisziplin ebenso hoch geschätzt wird
• Schulung von Datenwissenschaftlern hinsichtlich der finanziellen Auswirkungen gängiger Entscheidungen, wie beispielsweise der Auswahl von Instanzen, der Speicherebenen und der Häufigkeit von Experimenten

Der Wandel von einer kostenunbewussten zu einer kostenbewussten Herangehensweise lässt sich nicht allein durch Richtlinien bewirken. Er setzt voraus, dass die Bereiche Finanzen, IT und Technik eine gemeinsame Sprache und gemeinsame Kennzahlen nutzen – und genau das bietet eine ausgereifte FinOps-Praxis.

So helfen wir Ihnen, die Kosten für Cloud-ML zu senken

Wir unterstützen Unternehmen dabei, den Übergang von reaktiven Cloud-Ausgaben zu einer aktiven Kostensteuerung für alle Workloads – einschließlich Machine-Learning- und KI-Pipelines – zu vollziehen. Unsere FinOps-Dienstleistungen bieten Ihnen die Struktur, die Tools und die funktionsübergreifende Abstimmung, die erforderlich sind, um die Cloud-Ausgaben für Machine Learning zu einem kontrollierten Bereich statt zu einer unkontrollierten Variablen zu machen.

Wenn Sie mit uns zusammenarbeiten, profitieren Sie von folgenden Vorteilen:

• Vollständige Kostenverrechnung für ML-Workloads: Wir implementieren Tagging- und Zuordnungsrahmen, die jeden Dollar der ML-Ausgaben dem Team, dem Projekt oder dem Modell zuordnen, das ihn verursacht hat – und zwar über AWS, Azure und GCP hinweg.
• Optimierung der Personalstärke und Engagementanalyse: Wir ermitteln überdimensionierte ML-Rechenressourcen und modellieren die finanziellen Auswirkungen des Einsatzes von Spot-Instanzen, reservierter Kapazität und Änderungen der Instanzfamilie.
• Gestaltung der FinOps-Governance: Wir unterstützen Sie dabei, ein Betriebsmodell, einen Entscheidungsrhythmus und Verantwortungsstrukturen zu entwickeln, die dafür sorgen, dass die Ausgaben für maschinelles Lernen langfristig mit den geschäftlichen Prioritäten im Einklang stehen.
• Bewertung des Reifegrades von FinOps: Wenn Sie sich nicht sicher sind, wo Sie anfangen sollen, ermittelt unsere Analyse den aktuellen Reifegrad Ihres Finanzmanagements in der Cloud und erstellt einen nach Prioritäten geordneten Fahrplan für Verbesserungsmaßnahmen.

Wenn Sie wissen möchten, wo Ihr Unternehmen derzeit steht und welche nächsten Schritte die größte Wirkung erzielen, Nehmen Sie Kontakt mit uns auf um Ihre Situation zu besprechen.