Wie wirkt sich ungenutzte KI-Kapazität auf Ihre Cloud-Ausgaben aus?

Ungenutzte KI-Kapazitäten treiben Ihre Cloud-Kosten direkt in die Höhe, da sie Gebühren für Rechenressourcen verursachen, die ungenutzt bleiben oder nicht voll ausgelastet sind. Für KI-Trainingsläufe bereitgestellte GPU-Instanzen, zwischen Anfragen aktiv gelassene Inferenz-Endpunkte und übermäßig zugewiesene Speicherreservierungen verursachen Kosten, unabhängig davon, ob sie einen Mehrwert liefern oder nicht. In den folgenden Abschnitten wird genau erläutert, wie dies geschieht, warum es schwieriger zu erkennen ist als herkömmliche Rechenverschwendung und was Sie dagegen tun können.

Welche Arten von KI-Kapazitäten bleiben in Cloud-Umgebungen ungenutzt?

Ungenutzte KI-Kapazitäten in Cloud-Umgebungen lassen sich in mehrere unterschiedliche Kategorien einteilen, von denen jede ihr eigenes Kostenprofil aufweist. GPU- und TPU-Instanzen, die für das Modelltraining reserviert sind, aber zwischen den einzelnen Aufträgen weiterlaufen, stellen die teuerste Form ungenutzter KI-Kapazitäten dar. Inferenz-Endpunkte, die trotz geringen oder sporadischen Datenverkehrs rund um die Uhr aktiv bleiben, überdimensionierte Speicherzuweisungen für den Betrieb großer Sprachmodelle sowie im Voraus erworbene reservierte Instanzen, die nicht mehr den tatsächlichen Arbeitslastmustern entsprechen, tragen alle dazu bei, dass Kosten für KI-Cloud-Lösungen die keinen geschäftlichen Nutzen bringen.

In der Praxis gehören zu den häufigsten Arten ungenutzter KI-Kapazitäten:

• Leerlauf-Trainingscluster: GPU-Cluster, die für das Modelltraining hochgefahren wurden und nach Abschluss eines Auftrags weiterlaufen, oft weil keine automatische Abschaltung konfiguriert wurde
• Überdimensionierte Inferenz-Endpunkte: Eine Infrastruktur, die auf den Spitzenbedarf ausgelegt ist, in Zeiten mit geringem Bedarf jedoch nur zu einem Bruchteil ihrer Kapazität läuft
• Verlassene Versuchsumgebungen: Von Data-Science-Teams erstellte Entwicklungs- und Test-Workloads, die nie außer Betrieb genommen werden
• Nicht ausgeschöpfte reservierte Kapazität: Reservierungen für dedizierte GPUs oder KI-Beschleuniger, die auf der Grundlage von Prognosen erworben wurden, die sich nicht bewahrheitet haben
• Mit KI-Pipelines verknüpfte „verwaiste“ Speicher: Trainingsdatensätze, Modell-Checkpoints und Feature-Stores, die noch lange nach Projektende in kostspieligen Speicherebenen aufbewahrt werden

Jede dieser Kategorien steht für eine andere Lücke in der Verantwortlichkeit. Für Trainingscluster sind häufig die Entwicklerteams zuständig, für die Inferenzinfrastruktur die Plattformteams und für reservierte Kapazitäten die Finanz- oder Beschaffungsabteilungen. Wenn kein einzelnes Team den Gesamtüberblick hat, kommt es in allen Bereichen gleichzeitig zu Verschwendung.

Inwiefern treibt ungenutzte KI-Kapazität die Cloud-Kosten in die Höhe?

Ungenutzte KI-Kapazitäten treiben die Cloud-Kosten in die Höhe, da Cloud-Anbieter die bereitgestellte Kapazität in Rechnung stellen und nicht den Wert, den diese Kapazität erzeugt. Eine GPU-Instanz mit einer Auslastung von 5% kostet genauso viel wie eine mit einer Auslastung von 95%. KI-Workloads sind in dieser Hinsicht besonders kostspielig, da GPU- und TPU-Instanzen im Vergleich zu Standard-Rechenleistung einen erheblichen Kostenaufschlag mit sich bringen, was bedeutet, dass selbst kurze Leerlaufzeiten zu erheblichen finanziellen Verlusten führen.

Der Inflationsmechanismus wirkt sich in mehreren Dimensionen aus. Erstens werden die GPU-Instanzstunden ab dem Zeitpunkt des Starts einer Instanz bis zu deren Beendigung kontinuierlich abgerechnet, unabhängig davon, ob gerade ein Trainingsauftrag aktiv ausgeführt wird. Ein Team, das zu Beginn eines Sprints einen Cluster bereitstellt und vergisst, diesen über das Wochenende herunterzufahren, kann Kosten verursachen, die mehreren vollständigen Trainingsdurchläufen entsprechen, ohne dass dabei überhaupt ein Ergebnis erzielt wird.

Zweitens fallen bei als ständig aktive Dienste eingesetzten Inferenz-Endpunkten rund um die Uhr Kosten an. Wenn eine KI-Funktion den Datenverkehr hauptsächlich während der Geschäftszeiten bedient, ist ein Endpunkt, der nachts und am Wochenende bei einer Auslastung von nahezu null läuft, reine Cloud-Abfall. Auto-Scaling-Richtlinien und geplante Skalierungen können hier Abhilfe schaffen, erfordern jedoch eine sorgfältige Konfiguration, die viele Teams bei der Erstbereitstellung überspringen.

Drittens führen Rabatte für fest zugesagte Nutzung und der Kauf reservierter Instanzen zu einer anderen Form der Inflation. Wenn sich die Arbeitslastmuster im KI-Bereich verändern, wird die fest zugesagte Kapazität, die nicht mehr dem tatsächlichen Verbrauch entspricht, zu versunkenen Kosten, die nicht mehr zurückgewonnen werden können. Unternehmen zahlen letztendlich sowohl für die ungenutzte Reservierung als auch für zusätzliche On-Demand-Kapazität, um die Arbeitslasten abzudecken, die über die ursprüngliche Zusage hinausgewachsen sind.

Warum lässt sich Verschwendung im Bereich der KI-Cloud schwerer erkennen als herkömmliche Rechenkapazitätsverschwendung?

Verschwendung in der KI-Cloud ist schwerer zu erkennen als normale Rechenverschwendung, da KI-Workloads naturgemäß schwankende Auslastungsmuster aufweisen, die es erschweren, normales Verhalten von tatsächlicher Verschwendung zu unterscheiden. Ein GPU-Cluster, der während einer Datenvorverarbeitungsphase vor einem Trainingslauf mit einer Auslastung von 10% läuft, sieht in einem Kosten-Dashboard genauso aus wie ein Cluster, der nicht mehr genutzt wird. Standard-Auslastungsschwellenwerte, die zur bedarfsgerechten Dimensionierung allgemeiner Rechenkapazitäten verwendet werden, lassen sich ohne zusätzlichen Kontext nicht direkt auf KI-Workloads übertragen.

Mehrere Faktoren tragen zu dieser Schwierigkeit bei, das Problem zu erkennen:

• Burst- und Leerlaufmuster: KI-Trainings-Workloads sind von Natur aus durch sporadische Spitzenbelastungen gekennzeichnet. Ein Cluster kann stundenlang mit maximaler Auslastung laufen und anschließend im Leerlauf verharren, während die Ergebnisse ausgewertet werden. Überwachungstools, die die Auslastung in festen Intervallen erfassen, können diese Muster völlig falsch darstellen.
• Verteiltes Eigentum: Data-Science-Teams, ML-Engineering-Teams und Plattform-Teams nutzen häufig dieselben Cloud-Konten. Tags zur Kostenverrechnung sind oft unvollständig oder inkonsistent, was es erschwert, Ausgaben bestimmten Projekten oder Teams zuzuordnen.
• Schnelle Experimentierzyklen: Die KI-Entwicklung ist mit häufigen Experimenten verbunden, bei denen Umgebungen schnell erstellt, aber nicht immer mit derselben Dringlichkeit wieder stillgelegt werden. Verlassene Experimente häufen sich unbemerkt an.
• Undurchsichtige Preisgestaltung bei KI-spezifischen Dienstleistungen: Verwaltete KI-Dienste, Vektordatenbanken und Modell-Hosting-Plattformen weisen Preisstrukturen auf, die weniger intuitiv sind als bei Standard-Rechenleistungen, was die Erkennung von Anomalien ohne fachspezifisches Wissen erschwert.

Standard Cloud-Kostenmanagement Tools, die für die allgemeine Optimierung der Rechenkapazitäten entwickelt wurden, verfügen oft nicht über den arbeitslastbezogenen Kontext, der erforderlich ist, um Verschwendung im KI-Bereich genau zu erkennen. Ohne FinOps-Verfahren, die speziell auf die Eigenschaften von KI-Workloads zugeschnitten sind, entdecken die meisten Unternehmen Verschwendung im KI-Cloud-Bereich erst dann, wenn eine Rechnung eintrifft, die deutlich höher ausfällt als erwartet.

Welche finanziellen Auswirkungen hat ungenutzte KI-Kapazität auf Unternehmensebene?

Auf Unternehmensebene kann ungenutzte KI-Kapazität einen erheblichen Anteil an den gesamten Cloud-Ausgaben ausmachen, insbesondere bei Unternehmen, die aggressiv auf KI umgestellt haben, ohne entsprechende Governance-Maßnahmen zu etablieren. Die finanziellen Auswirkungen verstärken sich noch, da die KI-Infrastruktur höhere Stückkosten verursacht als allgemeine Rechenleistung. Das bedeutet, dass dieselben Governance-Lücken, die bei Standard-Workloads nur zu geringen Verlusten führen, in KI-Umgebungen deutlich größere Verluste verursachen.

Die finanziellen Auswirkungen zeigen sich auf mehreren Ebenen. Auf der Ebene der direkten Kosten verursachen ungenutzte GPU-Instanzen, überdimensionierte Inferenz-Infrastruktur und nicht voll ausgelastete reservierte Kapazitäten Kosten, die keinen messbaren geschäftlichen Nutzen bringen. Auf indirekter Ebene erschwert eine mangelnde Transparenz bei den KI-Kosten es, weitere Investitionen zu rechtfertigen, effektiv mit Cloud-Anbietern zu verhandeln oder fundierte Entscheidungen darüber zu treffen, ob Workloads vor Ort, in einer Hybridkonfiguration oder vollständig in der Cloud ausgeführt werden sollen.

Für IT-Führungskräfte in Unternehmen ist der Aspekt der Rechenschaftspflicht ebenso wichtig. Wenn die Kosten für KI-Cloud-Dienste nicht den Teams und Produkten zugeordnet werden, die sie verursachen, erhält die Finanzabteilung eine konsolidierte Abrechnung, die sie nicht sinnvoll hinterfragen kann. Dies führt zu Reibungen zwischen IT, Finanzabteilung und Entwicklung und verhindert jene Kosten-Nutzen-Analyse, die es dem Unternehmen ermöglichen würde, die KI-Ausgaben zu optimieren, ohne die Leistungsfähigkeit zu beeinträchtigen. Das Ergebnis ist, dass die Cloud-Kosten zwar sichtbar werden, aber nicht aktiv gesteuert werden, um den geschäftlichen Nutzen zu maximieren.

Wie können FinOps-Verfahren die Verschwendung durch ungenutzte KI-Workloads reduzieren?

FinOps-Verfahren reduzieren Verschwendung durch ungenutzte KI-Workloads, indem sie Verantwortungsstrukturen, Entscheidungsrhythmen und Optimierungsprozesse etablieren, die Kostentransparenz in konkrete Maßnahmen umsetzen. Tools zum Cloud-Kostenmanagement können Ihnen zeigen, wohin die KI-Ausgaben fließen, aber FinOps legt fest, wer für die Umsetzung dieser Informationen verantwortlich ist und wie schnell Entscheidungen getroffen werden. Speziell für KI-Workloads bedeutet dies, Standard-FinOps-Praktiken so anzupassen, dass sie den für die KI-Entwicklung charakteristischen Burst- und Leerlaufmustern, der verteilten Zuständigkeit und den schnellen Experimentierzyklen Rechnung tragen.

Strukturen für Unternehmensführung und Rechenschaftspflicht

Effektives FinOps für KI beginnt mit der Zuweisung klarer Verantwortlichkeiten für KI-Workloads auf Team- und Produktebene. Das bedeutet, einheitliche Tagging-Richtlinien zu implementieren, die jede KI-Ressource mit einem zuständigen Team, einem Projekt und einem Geschäftsziel verknüpfen. Wenn ein GPU-Cluster ungenutzt bleibt, erhält eine bestimmte Person diese Information und hat die Befugnis sowie die Verantwortung, entsprechend zu handeln. Ohne diese Ebene der Verantwortlichkeit sammeln sich Auslastungsdaten in Dashboards an, auf die niemand reagiert.

Optimierungsprozesse für KI-spezifische Abfallmuster

Über die Governance hinaus umfassen FinOps-Praktiken für KI-Workloads die bedarfsgerechte Dimensionierung von Inferenz-Endpunkten auf der Grundlage tatsächlicher Verkehrsmuster, die Konfiguration einer automatischen Abschaltung von Trainingsclustern nach Abschluss eines Jobs sowie die Einführung regelmäßiger Überprüfungen der reservierten Kapazitätsverpflichtungen im Vergleich zu aktuellen Workload-Prognosen. Eine planmäßige Skalierung von Inferenz-Endpunkten, die vorhersehbare Datenverkehrsmuster bedienen, kann einen erheblichen Teil der Leerlaufkosten außerhalb der Spitzenzeiten eliminieren, ohne die Leistung während der aktiven Stunden zu beeinträchtigen.

FinOps führt zudem einen strukturierten Rhythmus für die Überprüfung von KI-Experimentierumgebungen ein. Anstatt sich darauf zu verlassen, dass einzelne Datenwissenschaftler Ressourcen außer Betrieb nehmen, identifiziert ein regelmäßiger Überprüfungsprozess verwaisten Umgebungen und gewinnt diese entweder zurück oder leitet sie zur Entscheidung an das zuständige Team weiter. Allein durch diesen Prozess lassen sich in Unternehmen mit aktiven KI-Entwicklungsprogrammen erhebliche Einsparungen erzielen.

Welche Kennzahlen sollten IT-Führungskräfte im Blick behalten, um die Ausgaben für KI-Cloud-Lösungen zu steuern?

IT-Führungskräfte sollten eine Kombination aus Auslastungskennzahlen, Kostenverteilungskennzahlen und Wertkennzahlen im Blick behalten, um die Ausgaben für KI-Cloud-Dienste effektiv zu verwalten. Die Auslastung allein reicht nicht aus, da ein GPU-Cluster, der während eines Experiments mit niedriger Priorität bei einer Auslastung von 80% läuft, möglicherweise einen geringeren Wert darstellt als einer, der bei einer Auslastung von 40% für eine Produktions-Workload läuft. Die wichtigsten Kennzahlen stellen einen Zusammenhang zwischen dem Ressourcenverbrauch und dem geschäftlichen Output her.

Zu den nützlichsten Kennzahlen für das Management der KI-Cloud-Ausgaben gehören:

• Auslastungsrate von GPU und Beschleuniger: Erfassen Sie die Auslastung pro Instanz und pro Workload-Typ, nicht nur als Gesamtwert. Unterscheiden Sie zwischen Trainings-, Inferenz- und Entwicklungs-Workloads, um für jeden Typ die entsprechenden Schwellenwerte anzuwenden.
• Kosten pro Modelltrainingsdurchlauf: Durch die Normalisierung der Trainingskosten auf eine Kennzahl pro Durchlauf lässt sich die Effizienz im Zeitverlauf verfolgen und erkennen, wann die Kosten steigen, ohne dass sich die Modellqualität entsprechend verbessert.
• Inferenzkosten pro Anfrage: Bei KI-Diensten in der Produktion ermöglicht die Erfassung der Kosten pro Inferenzanfrage eine Verknüpfung der Infrastrukturausgaben mit der tatsächlichen Nutzung und hilft dabei, überdimensionierte Endpunkte zu identifizieren.
• Leerlaufstunden der Instanzen nach Team: Die Erfassung der Leerlaufzeiten von GPUs und TPUs, die bestimmten Teams zugeordnet sind, schafft Verantwortlichkeit und deckt Verschwendungsmuster auf, die durch Prozessänderungen oder Automatisierung behoben werden können.
• Auslastungsgrad der reservierten Kapazität: Erfassen Sie den Prozentsatz der zugesagten KI-Kapazität, der tatsächlich genutzt wird. Eine Auslastungsrate, die deutlich unter 100% liegt, deutet auf eine Diskrepanz zwischen den Zusagen und den tatsächlichen Arbeitslastmustern hin.
• AI-Ausgaben als Prozentsatz der gesamten Cloud-Ausgaben: Die Beobachtung dieser Kennzahl im Zeitverlauf hilft IT-Führungskräften zu verstehen, ob die KI-Infrastruktur proportional zur gesamten Cloud-Nutzung wächst oder sich schneller ausweitet, was auf Lücken in der Governance hindeuten könnte.

Diese Kennzahlen sind am nützlichsten, wenn sie regelmäßig von einer funktionsübergreifenden Gruppe ausgewertet werden, der Vertreter der Finanzabteilung, der IT sowie der für KI-Workloads zuständigen Entwicklungsteams angehören. Eine punktuelle Berichterstattung ohne wiederkehrenden Entscheidungsrhythmus sorgt zwar für Transparenz, führt jedoch nicht zu Maßnahmen – was eine der häufigsten Ursachen für das Scheitern in Cloud-Kostenmanagement Programme.

So unterstützen wir Sie bei der Verwaltung ungenutzter KI-Kapazitäten und Cloud-Ausgaben

Mit unseren FinOps-Dienstleistungen unterstützen wir Unternehmen dabei, den Schritt von der Transparenz der Cloud-Kosten hin zu einer aktiven Steuerung von KI-Workloads zu vollziehen. Anstatt Ihnen lediglich Dashboards zur Verfügung zu stellen, die das Problem zwar aufzeigen, aber nicht lösen, entwickeln wir ein Betriebsmodell, das Kostendaten mit Entscheidungen verknüpft. Konkret unterstützen wir Sie bei folgenden Aufgaben:

• Bewertung des Reifegrades von FinOps: Wir bewerten Ihre derzeitigen Fähigkeiten im Bereich des Cloud-Finanzmanagements in Bezug auf Mitarbeiter, Prozesse, Governance und Tools und ermitteln, wo es am ehesten zu Verschwendung bei KI-Workloads kommt und warum.
• Rahmenwerke für Rechenschaftspflicht und Tagging: Wir konzipieren und implementieren Kostenverrechnungsstrukturen, die die KI-Cloud-Kosten den Teams und Produkten zuordnen, die sie verursachen, und so die Eigenverantwortung und Rechenschaftspflicht konkret umsetzbar machen.
• Anpassung der Serverkapazität und Optimierung für KI-Workloads: Wir identifizieren überdimensionierte Inferenz-Endpunkte, ungenutzte Trainingscluster und nicht ausreichend ausgelastete reservierte Kapazitäten in AWS, Azure und GCP und implementieren die entsprechenden Automatisierungen und Prozesse, um diese Probleme zu beheben.
• Regelmäßige Governance-Zyklen: Wir legen Entscheidungsrhythmen und Überprüfungsprozesse fest, die sicherstellen, dass Erkenntnisse über die Kosten in regelmäßige Optimierungsmaßnahmen und nicht nur in einmalige Korrekturen münden.
• Integration von TBM und FinOps: Wir integrieren das Kostenmanagement für KI-Cloud-Lösungen in Ihr übergeordnetes IT-Finanzmanagement, sodass Entscheidungen über KI-Ausgaben im Kontext der gesamten IT-Kosten und des geschäftlichen Nutzens getroffen werden.

Wenn ungenutzte KI-Kapazitäten Ihre Cloud-Kosten in die Höhe treiben und Sie nicht sicher sind, ob Sie einen vollständigen Überblick darüber haben, woher diese Verschwendung stammt, Nehmen Sie Kontakt mit uns auf um zu besprechen, wie wir Ihnen dabei helfen können, Governance- und Optimierungsmaßnahmen zu entwickeln, mit denen Sie die Kosten für KI-Cloud-Lösungen in den Griff bekommen.