Um separate Kostenprognosen für verschiedene KI-Anwendungsfälle zu erstellen, müssen Sie die jeweiligen Kostentreiber hinter jedem Anwendungsfall identifizieren und individuelle Modelle entwickeln, die widerspiegeln, wie viel Rechenleistung, Daten und Personal jeder einzelne Anwendungsfall beansprucht. Ein einziges, konsolidiertes KI-Budget verschleiert, wohin das Geld tatsächlich fließt, und macht es nahezu unmöglich, die Ausgaben zu optimieren oder Investitionsentscheidungen zu begründen. In den folgenden Abschnitten werden die wichtigsten Fragen erläutert, die Sie beantworten müssen, um Prognosen zu erstellen, die sowohl genau als auch umsetzbar sind.
Warum erfordern unterschiedliche KI-Anwendungsfälle separate Kostenmodelle?
Unterschiedliche KI-Anwendungsfälle erfordern separate Kostenmodelle, da sie Ressourcen auf grundlegend unterschiedliche Weise, in unterschiedlichem Umfang und mit unterschiedlichen Kostenentwicklungen im Zeitverlauf verbrauchen. Eine kundenorientierte Inferenz-API, ein internes Tool zur Dokumentenzusammenfassung und eine Experimentierumgebung für Data Science weisen jeweils unterschiedliche Rechenmuster, Speicheranforderungen und Team-Overhead auf. Werden sie in einer einzigen Prognose zusammengefasst, ergeben sich Zahlen, die für keinen von ihnen zutreffend sind.
Der wichtigste Grund für die Trennung von Kostenmodellen ist die Verantwortlichkeit. Wenn KI-Kosten gebündelt werden, lässt sich nicht feststellen, welcher Anwendungsfall Kostenüberschreitungen verursacht oder einen Mehrwert schafft. Dies spiegelt ein allgemeineres Problem im Cloud-Finanzmanagement wider: Kostendaten werden zwar sichtbar, aber die Verantwortlichkeiten lassen sich nicht zuordnen. Ohne ein Modell auf Anwendungsfall-Basis können Sie keine fundierten Entscheidungen über die Skalierung, die Stilllegung oder weitere Investitionen in eine bestimmte KI-Initiative treffen.
Unterschiedliche Modelle spiegeln zudem unterschiedliche Risikoprofile wider. Ein KI-Modell im Produktivbetrieb, das Kundentransaktionen verarbeitet, birgt ein finanzielles Risiko, wenn es hinter den Erwartungen zurückbleibt oder unerwartet skaliert wird. Ein F&E-Experiment sollte hingegen zeitlich begrenzt und mit einem Kostenobergrenze versehen sein. Werden diese in einer Prognose gleich behandelt, entstehen auf beiden Seiten irreführende Budgeterwartungen.
Welche Kostentreiber sollten in jeder Prognose für einen KI-Anwendungsfall berücksichtigt werden?
Jede Prognose für einen KI-Anwendungsfall sollte die Rechenkosten, die Kosten für Datenspeicherung und -übertragung, die Kosten für das Training und das Retraining von Modellen, die Kosten für die Inferenz, Lizenz- oder API-Gebühren sowie die zugewiesenen Kosten für die Arbeitszeit der Engineering- und Data-Science-Teams umfassen. Die spezifische Gewichtung der einzelnen Faktoren variiert je nach Art des Anwendungsfalls erheblich, weshalb es wichtig ist, die Prognose für jeden Anwendungsfall von Grund auf neu zu erstellen.
Hier sind die wichtigsten Kostenfaktoren, die in jedes Kostenmodell für KI-Anwendungsfälle einbezogen werden sollten:
- Berechnung: GPU- oder CPU-Stunden für Trainingsläufe, Feinabstimmung und Inferenz, einschließlich ungenutzter Kapazitäten und Verpflichtungen für reservierte Instanzen
- Datenspeicherung und -ausgabe: Trainingsdatensätze, Vektordatenbanken, Modellartefakte und die Kosten für den Datentransfer zwischen Diensten
- Modelltraining und -umschulung: Einmalige und wiederkehrende Kosten für Schulungszyklen, einschließlich fehlgeschlagener oder Testläufe
- Schlussfolgerung: Die Kosten pro Vorhersage oder API-Aufruf, skaliert nach dem erwarteten Volumen und den Latenzanforderungen
- Modell-APIs von Drittanbietern: Token-basierte oder auf Abruf berechnete Gebühren für Modelle wie GPT-4 oder Claude bei Nutzung externer Anbieter
- Humankapital: Zeitaufwand von Data Scientists, ML-Ingenieuren und DevOps-Mitarbeitern für die Entwicklung, Wartung und Überwachung des Anwendungsfalls
- Werkzeuge und Plattform: MLOps-Plattformen, Tools zur Experimentverfolgung, Überwachungsdienste und Orchestrierungsinfrastruktur
Damit die Budgetierung von KI-Anwendungsfällen aussagekräftig ist, müssen Sie nicht nur den aktuellen Verbrauch abschätzen, sondern auch, wie sich die einzelnen Faktoren skalieren. Die Kosten für die Inferenz können beispielsweise mit zunehmender Nutzerakzeptanz nichtlinear ansteigen, während die Trainingskosten zunächst vorzeitig anfallen und anschließend in regelmäßigen Abständen anfallen können.
Wie erstellt man eine Kostenprognose für ein KI-Modell in der Produktion?
Eine Kostenprognose für ein KI-Modell im Produktivbetrieb sollte sich an drei Phasen orientieren: den Basisbetriebskosten beim aktuellen Umfang, einem volumenabhängigen Skalierungsmodell, das die Kosten bei unterschiedlichen Nutzungsniveaus prognostiziert, sowie einem Budget für das Umtrainieren und die Wartung, das laufende Modellaktualisierungen berücksichtigt. Produktionsmodelle weisen zwar vorhersehbare wiederkehrende Kosten auf, bergen jedoch auch ein Skalierungsrisiko, das explizit modelliert werden muss.
Ermitteln Sie zunächst die Stückkosten für die Inferenz. Berechnen Sie die Kosten pro Vorhersage oder pro API-Aufruf bei Ihrer aktuellen Infrastrukturkonfiguration und multiplizieren Sie diese dann mit dem prognostizierten Nutzungsvolumen auf monatlicher, vierteljährlicher und jährlicher Basis. So erhalten Sie eine nachfrageorientierte Prognose anstelle einer pauschalen Budgetannahme.
Fügen Sie als Nächstes Wiedertrainierungszyklen hinzu. Produktionsmodelle verlieren mit der Zeit an Genauigkeit, da sich die Datenverteilungen verschieben. Daher müssen Sie in Ihrer Prognose die Kosten für regelmäßige Wiedertrainierungen berücksichtigen. Schätzen Sie die Häufigkeit der Wiedertrainierungen anhand des Modelltyps und der geschäftlichen Anforderungen und ordnen Sie jedem Zyklus die entsprechenden Rechenkosten zu.
Berücksichtigen Sie schließlich auch die Plattform- und Betriebskosten. Überwachungstools, die Infrastruktur für Warnmeldungen, die Wartung der Datenpipeline und der technische Aufwand, der erforderlich ist, um ein Produktionssystem in einem einwandfreien Zustand zu halten, sind reale Kosten, die bei der Modellierung von Technologiekosten häufig unterschätzt werden. Beziehen Sie diese Kosten explizit ein, anstatt sie in einer allgemeinen IT-Gemeinkostenposition zu verrechnen.
Wie schätzen Sie die Kosten für KI-Experimente und Anwendungsfälle im Bereich Forschung und Entwicklung ein?
Die Kostenprognose für KI-Experimente und F&E-Anwendungsfälle erfordert einen zeitlich begrenzten Ansatz mit festgelegten Budgetobergrenzen anstelle eines volumenorientierten Modells. Da die Ergebnisse von Forschung und Entwicklung ungewiss sind, sollte die Prognose einen maximalen Ausgabenrahmen für einen festgelegten Zeitraum definieren, mit klaren Meilensteinen, an denen Sie entscheiden, ob Sie das Experiment fortsetzen, neu ausrichten oder beenden.
Die sinnvollste Struktur für eine Prognose zu KI-Experimenten umfasst:
- Legen Sie den Umfang und die Dauer des Experiments fest: Legen Sie einen klaren zeitlichen Rahmen fest, beispielsweise einen sechswöchigen Sprint oder einen vierteljährlichen Erkundungszyklus, und passen Sie die Rechenressourcen entsprechend an.
- Schätzung des Rechenaufwands pro Versuchsdurchlauf: Verwenden Sie historische Daten aus ähnlichen Experimenten oder Benchmark-Läufen, um den Bedarf an GPU-Stunden und Speicherplatz pro Versuch zu ermitteln.
- Budget für fehlgeschlagene Durchläufe: Experimente führen per Definition zu Fehlschlägen. Ihre Prognose sollte ausdrücklich eine realistische Anzahl fehlgeschlagener Trainingsläufe einkalkulieren und nicht nur den erfolgreichen Verlauf berücksichtigen.
- Ein Kostenlimit festlegen: Legen Sie den Höchstbetrag fest, ab dem Sie das Experiment neu bewerten. Dadurch wird verhindert, dass F&E-Budgets ohne Rechenschaftspflicht aus dem Ruder laufen.
- Separate Werkzeugkosten: Plattformen zur Versuchsverfolgung, Notebook-Umgebungen und Tools zur Datenversionierung sollten speziell für den Forschungs- und Entwicklungsbereich bereitgestellt und nicht gemeinsam mit der Produktion genutzt werden.
Bei diesem Ansatz werden KI-Experimente als ein Portfolio zeitlich begrenzter Investitionen betrachtet und nicht als unbefristete Kostenstelle, was die Berichterstattung über Entscheidungen zur Planung der KI-Ausgaben an die Finanzabteilung und die Unternehmensleitung erheblich vereinfacht.
Was ist der Unterschied zwischen FinOps- und ITFM-Ansätzen bei der Kostenprognose für KI?
FinOps und IT-Finanzmanagement (ITFM) befassen sich mit der Kostenprognose für KI auf unterschiedlichen Detailebenen und mit unterschiedlichen Governance-Zielen. FinOps konzentriert sich auf die Optimierung des Cloud-Verbrauchs in Echtzeit und eignet sich daher für die Verwaltung der Rechen- und Speicherkosten von KI-Workloads während deren Ausführung. ITFM verfolgt einen breiteren Ansatz und verknüpft KI-Ausgaben mit Unternehmensdienstleistungen, Portfolioentscheidungen und Finanzplanungszyklen.
In der Praxis ergänzen sich die beiden Ansätze eher, als dass sie miteinander konkurrieren. FinOps – Cloud-Kostenmanagement Bietet Ihnen die nötige Transparenz, um nahezu in Echtzeit zu erkennen, welche Ressourcen die einzelnen KI-Workloads verbrauchen, und ermöglicht so eine bedarfsgerechte Dimensionierung, Kapazitätsplanung und Erkennung von Anomalien auf Infrastrukturebene. Es beantwortet die Frage: Setzen wir unsere Ressourcen für die Rechenleistung, die unsere KI betreibt, effizient ein?
Das ITFM-KI-Kostenmanagement beantwortet eine andere Frage: Liefert diese KI-Investition im Verhältnis zu ihren Gesamtkosten einen Mehrwert, und wie schneidet sie im Vergleich zu anderen Technologieinvestitionen ab, die um dasselbe Budget konkurrieren? ITFM-Rahmenwerke wie Technology Business Management (TBM) ermöglichen es Ihnen, KI-Kosten den von ihnen unterstützten Geschäftsfunktionen oder Dienstleistungen zuzuordnen, sodass Sie den Stakeholdern im Unternehmen eine Sichtweise „Kosten pro Ergebnis“ präsentieren können, anstatt nur eine reine Infrastrukturabrechnung vorzulegen.
Für Unternehmen, die mehrere KI-Anwendungsfälle sowohl in der Cloud als auch in lokalen Umgebungen betreiben, ergibt sich durch die Integration beider Disziplinen ein möglichst umfassendes Gesamtbild. FinOps optimiert die Ausgaben; ITFM ordnet diese in den Kontext des gesamten IT-Portfolios und der Geschäftsstrategie ein.
Wie werden KI-Kosten den Geschäftsbereichen zugeordnet und diesen gegenüber ausgewiesen?
Um KI-Kosten den Geschäftsbereichen zuzuordnen und auszuweisen, benötigen Sie eine Tagging- und Taxonomie-Strategie, die jede KI-Ressource mit dem Anwendungsfall, den sie unterstützt, dem zuständigen Team und dem Geschäftsbereich, der davon profitiert, verknüpft. Ohne ein einheitliches Tagging auf Infrastrukturebene wird die Kostenverrechnung zu einer manuellen Schätzübung, die das Vertrauen in die Zahlen untergräbt.
Beginnen Sie mit einem klaren Zuständigkeitsmodell. Weisen Sie jedem KI-Anwendungsfall einen Verantwortlichen zu, der für die Kosten und den damit erzielten Nutzen verantwortlich ist. Dies ist nicht nur eine Aufgabe der IT-Abteilung. Der Geschäftsbereich, der von einem Modell zur Nachfrageprognose oder einem KI-gestützten Kundenservice-Tool profitiert, sollte bei den Budgetverhandlungen mitentscheiden.
Legen Sie anschließend Ihre Verrechnungsmethode fest. Je nach Reifegrad Ihrer Organisation können Sie die direkte Verrechnung (Kosten, die einem bestimmten Anwendungsfall zugeordnet sind, fließen direkt an den zuständigen Geschäftsbereich), die proportionale Verrechnung (gemeinsam genutzte Infrastrukturkosten werden entsprechend dem Nutzungsanteil aufgeteilt) oder ein Showback-Modell (Kosten werden ohne Rückverrechnung ausgewiesen und dienen dazu, das Bewusstsein zu schärfen und Verhaltensänderungen zu bewirken, bevor eine vollständige Kostenverantwortung eingeführt wird).
Die Berichterstattung sollte über bloße Kostensummen hinausgehen. Die Geschäftsbereiche müssen die Kosten pro Ergebnis einsehen können, beispielsweise die Kosten pro Schlussfolgerung, pro aktivem Nutzer oder pro verarbeiteter Geschäftstransaktion, um die KI-Ausgaben mit dem erzielten Nutzen in Verbindung zu bringen. Dadurch wird die Diskussion über die Zuordnung von KI-Kosten von einem Budgetstreit zu einer Diskussion über das Wertmanagement, wo sie hingehört.
Wie wir bei der Kostenprognose für KI helfen
Die Steuerung der KI-Kosten über verschiedene Anwendungsfälle, Teams und Umgebungen hinweg ist heute eine der komplexeren Herausforderungen im IT-Finanzmanagement. Wir helfen Unternehmen dabei, die erforderlichen Rahmenbedingungen, Tools und Prozesse aufzubauen, um dies erfolgreich zu bewältigen. Konkret unterstützen wir Sie bei folgenden Aufgaben:
- Einführung von FinOps: Einrichtung einer Echtzeit-Transparenz und -Zuordnung der Cloud-Kosten für KI-Workloads über AWS, Azure und GCP hinweg, einschließlich der Kostenzuordnung auf Containerebene für ML-Pipelines
- Integration von TBM und FinOps: Die Verknüpfung der operativen KI-Ausgabendaten mit Ihrem gesamten Technologieportfolio, damit die Unternehmensleitung KI-Investitionen im Zusammenhang mit anderen IT-Prioritäten bewerten kann
- Rahmenkonzepte für die Kostenverrechnung im Bereich KI: Entwicklung von Tagging-Taxonomien, Eigentumsmodellen sowie Chargeback- oder Showback-Mechanismen, die die KI-Kosten für die Geschäftsbereiche transparent machen
- Unterstützung bei der Prognoseerstellung und Budgetierung: Erstellung von Kostenmodellen pro Anwendungsfall, die zwischen Produktions-, Experimentier- und F&E-Workloads unterscheiden und sich an Ihre KI-Ziele anpassen lassen
- Bewertung des Reifegrades von FinOps: Ein strukturierter Ausgangspunkt, um zu verstehen, wo Ihre aktuellen Verfahren im Bereich Cloud- und KI-Finanzmanagement stehen und welche Schritte als Nächstes Priorität haben sollten
Wenn Sie von einer fragmentierten KI-Ausgabenpolitik zu einem strukturierten, nachvollziehbaren KI-Kostenmanagement übergehen möchten, Nehmen Sie Kontakt mit uns auf um zu besprechen, wo wir anfangen sollen.