Wie sollten die Teams aus den Bereichen Finanzen, Technik und KI die Verantwortung für die KI-Ausgaben gemeinsam tragen?

Finanz-, Entwicklungs- und KI-Teams sollten die Verantwortung für KI-Ausgaben gemeinsam tragen – und zwar im Rahmen eines Modells, bei dem die Entwicklungsabteilung für Nutzungsentscheidungen zuständig ist, die Finanzabteilung für die Budgetsteuerung und die KI- oder Data-Science-Teams für die Effizienz der Workloads. Kein einzelnes Team kann KI-Kosten isoliert effektiv verwalten, da KI-Workloads Infrastrukturverbrauch, Experimentierrisiken und geschäftlichen Nutzen auf eine Weise miteinander verbinden, die funktionsübergreifende Abwägungen erfordert. Die folgenden Fragen erläutern, wie diese geteilte Verantwortung in der Praxis funktioniert.

Wer ist in den meisten Unternehmen heute für die KI-Ausgaben zuständig?

In den meisten Unternehmen gibt es heute keinen eindeutig festgelegten Verantwortlichen für die KI-Ausgaben. Die Entwicklungsteams stellen die Rechen- und Speicherressourcen bereit, die Kosten verursachen, die Finanzabteilungen erhalten die Rechnungen, und die KI- oder Data-Science-Teams treffen die Entscheidungen darüber, wie viel davon verbraucht wird. Das Ergebnis ist eine Lücke, in der zwar alle beteiligt sind, aber niemand die Verantwortung trägt.

Dies spiegelt die Anfänge der Cloud-Einführung wider, als dasselbe strukturelle Problem auftrat: Die Anwendungsteams kontrollierten die Ausgabenentscheidungen, doch die IT- und die Finanzabteilung mussten die finanziellen Folgen tragen. Bei KI-Workloads ist diese Kluft sogar noch größer, da die Kostentreiber weniger vorhersehbar sind. Das Trainieren eines großen Modells oder das Ausführen von Inferenzrechnungen in großem Maßstab kann innerhalb weniger Stunden erhebliche Kosten verursachen, und diese Kosten sind für die Finanzabteilung oft erst sichtbar, wenn die Rechnung eintrifft.

In der Praxis führt dies dazu, dass KI-Budgets meist reaktiv verwaltet werden. Teams beantragen Ressourcen, die Kosten steigen an, und die Finanzabteilung greift erst ein, wenn die Ausgaben einen bestimmten Schwellenwert überschreiten. Das ist keine Finanzsteuerung. Es handelt sich um eine nachträgliche Kostenbegrenzung, die regelmäßig zu Reibungen zwischen den Teams führt, anstatt ein gemeinsames Verständnis zu schaffen.

Was ist ein Modell der geteilten Verantwortung für KI-Kosten?

Ein Modell der geteilten Verantwortung für KI-Kosten ist eine Governance-Struktur, die jedem Team klare finanzielle Verantwortlichkeiten zuweist, je nachdem, worüber es die Kontrolle hat. Die Technik ist für die Entscheidungen verantwortlich, die den Ressourcenverbrauch beeinflussen. Die Finanzabteilung ist für den Budgetrahmen, die Prognosen und das Berichtswesen zuständig. Die KI- und Data-Science-Teams sind für die Effizienz der Arbeitslasten und die Kosten-Leistungs-Abwägungen innerhalb ihrer Experimente und Produktionssysteme verantwortlich.

Gemeinsame Verantwortung bedeutet nicht, dass alle gleichermaßen im Unklaren sind. Jede Funktion hat eine ganz eigene Rolle:

• Entwicklungsteams Ressourcen korrekt mit Tags versehen, die richtigen Instanztypen auswählen und den Lebenszyklus der Recheninstanzen verwalten, einschließlich des Beendens von inaktiven Trainingsaufträgen.
• Finanzteams Budgetgrenzen festlegen, Genehmigungsschwellen für neue KI-Initiativen definieren und Cloud-Nutzungsdaten in geschäftsrelevante Berichte umsetzen.
• KI- und Data-Science-Teams kostenbewusste Architekturentscheidungen treffen, den Ressourcenbedarf vor Beginn der Experimente abschätzen und darauf hinweisen, wenn sich die Arbeitslasten in unerwartete Richtungen entwickeln.
• Geschäfts- oder Produktverantwortliche die KI-Ausgaben mit den Geschäftsergebnissen verknüpfen und dabei helfen, Prioritäten zu setzen, welche Experimente eine Investition verdienen.

Das Modell funktioniert nur, wenn diese Rollen formell festgelegt und nicht einfach vorausgesetzt werden. Organisationen, die die Verantwortlichkeiten nur implizit regeln, stellen häufig fest, dass jedes Team standardmäßig versucht, seine eigenen Prioritäten zu optimieren, was zu suboptimalen Kompromissen und wiederkehrenden Budgetstreitigkeiten führt.

Inwiefern lässt sich FinOps auf KI- und Machine-Learning-Workloads anwenden?

FinOps lässt sich auf KI- und Machine-Learning-Workloads anwenden, indem es seine Kerndisziplin der kostenbewussten Entscheidungsfindung auf die spezifischen Muster der KI-Infrastruktur ausweitet. Das FinOps-Framework basiert auf dem Grundsatz, dass Entscheidungen über Cloud-Ausgaben von denjenigen getroffen werden sollten, die sowohl die Kosten als auch den geschäftlichen Nutzen verstehen. Dieser Grundsatz gilt unmittelbar für KI-Workloads, bei denen das Verhältnis von Kosten und Nutzen komplex ist und sich rasch ändert.

Speziell im Bereich KI und ML, FinOps-Verfahren auf verschiedene Kostenmuster eingehen, die im Rahmen des allgemeinen Cloud-Kostenmanagements nicht angemessen berücksichtigt werden:

• Trainingsläufe Sie verursachen kurzfristige Rechenkosten, die ohne modellspezifisches Wissen nur schwer vorherzusagen sind.
• Inferenz in großem Maßstab verursacht laufende, nutzungsabhängige Kosten, die eine kontinuierliche Anpassung der Kapazitäten und eine entsprechende Einsatzplanung erfordern.
• Experimentieren erzeugt eine große Anzahl kurzlebiger Workloads, die leicht aus den Augen verloren werden und deren Weiterlaufen kostspielig ist.
• Kosten für Datenspeicherung und Datenverarbeitung Sie summieren sich still und leise neben den Rechenkosten und werden in Diskussionen über KI-Kosten oft außer Acht gelassen.

FinOps für KI bedeutet, die notwendigen Abläufe, Steuerungsmechanismen und Tools zu etablieren, um diese Kostenmuster sichtbar zu machen und sie mit geschäftlichen Entscheidungen zu verknüpfen – und zwar bereits vor der Festlegung der Ausgaben und nicht erst danach. Es bedeutet außerdem, einen Rhythmus zu schaffen, in dem Finanz-, Entwicklungs- und KI-Teams die KI-Ausgaben regelmäßig gemeinsam überprüfen und nicht erst dann, wenn etwas schiefgeht.

Welche besonderen Herausforderungen bei der Kostenverrechnung gibt es bei KI-Workloads?

Die besonderen Herausforderungen bei der Kostenverrechnung von KI-Workloads ergeben sich aus der Art und Weise, wie die KI-Infrastruktur genutzt wird. Im Gegensatz zu herkömmlichen Anwendungen, bei denen sich die Kosten relativ eindeutig bestimmten Diensten oder Teams zuordnen lassen, nutzen KI-Workloads gemeinsame Rechencluster, verwenden Datensätze projektübergreifend wieder und verursachen Kosten, die sich nur schwer einem einzelnen Geschäftsergebnis oder Verantwortlichen zuordnen lassen.

Zu den häufigsten Zuordnungsproblemen gehören:

• Cluster mit gemeinsam genutzten GPUs die von mehreren Teams gleichzeitig genutzt werden, wobei sich die Kosten für einzelne Aufträge ohne detaillierte Kennzeichnung und Erfassung nur schwer isolieren lassen.
• Aufwand für Experimente wobei fehlgeschlagene oder abgebrochene Testläufe dennoch echte Kosten verursachen, die selten einem Team oder Projekt zugeordnet werden.
• Verwendung von Foundation-Modellen wobei die API-Kosten für Modelle von Drittanbietern, wie beispielsweise von großen KI-Anbietern, von mehreren Anwendungen und Teams genutzt, aber zentral abgerechnet werden.
• Kosten der Datenpipeline die zwar KI-Workloads unterstützen, sich jedoch in separaten Infrastrukturkonten befinden, wodurch sich die Gesamtkosten für KI nur schwer berechnen lassen.

Um diese Herausforderungen zu bewältigen, bedarf es einer speziell auf KI-Workloads zugeschnittenen Tagging-Strategie mit Tags, die das Team, das Projekt, die Experiment-ID und den geschäftlichen Zweck jedes einzelnen Auftrags erfassen. Ohne diese Struktur liegen zwar Kostendaten vor, doch lässt sich keine Rechenschaftspflicht nachweisen – genau dieses Muster führt dazu, dass die Steuerung der KI-Ausgaben unwirksam ist.

Welches Team sollte die Budgets für KI-Experimente genehmigen?

Die Budgets für KI-Experimente sollten gemeinsam vom Leiter des KI- oder Data-Science-Teams und einem Vertreter der Finanzabteilung oder der IT-Finanzabteilung genehmigt werden, wobei die Technikabteilung bei der Schätzung der Ressourcen mitwirkt. Das KI-Team kennt die wissenschaftlichen Grundlagen und die zu erwartenden Rechenanforderungen. Die Finanzabteilung stellt sicher, dass das Experiment im Rahmen des Gesamtbudgets bleibt. Die Technikabteilung prüft, ob der Ressourcenplan realistisch ist.

Dies muss kein langwieriger oder bürokratischer Prozess sein. Unternehmen, die dies gut handhaben, legen in der Regel gestaffelte Genehmigungsschwellen fest. Kleine Experimente unterhalb einer festgelegten Kostenobergrenze können vom Teamleiter selbst genehmigt werden. Experimente mittleren Umfangs erfordern die Zustimmung der Finanzabteilung. Große oder zeitlich unbegrenzte Schulungsmaßnahmen erfordern einen formellen Business Case, der die erwarteten Ergebnisse mit den Investitionen verknüpft.

Der wichtige Grundsatz lautet, dass die Genehmigung kein einmaliger Schritt ist. In den Budgets für Experimente sollte ein Kontrollmechanismus vorgesehen sein, sodass es im Falle eines über den Erwartungen liegenden Aufwands für einen Trainingslauf ein klares Verfahren gibt, nach dem das Team entweder den Umfang anpassen oder die Angelegenheit zur weiteren Genehmigung eskalieren kann. So wird die Finanzabteilung auf dem Laufenden gehalten, ohne dass Reibungsverluste entstehen, die die legitime KI-Arbeit verlangsamen.

Wie können Unternehmen eine funktionsübergreifende Steuerung der KI-Ausgaben aufbauen?

Unternehmen können eine funktionsübergreifende Steuerung der KI-Ausgaben aufbauen, indem sie ein wiederkehrendes Betriebsmodell etablieren, das Finanz-, Technik- und KI-Teams auf der Grundlage gemeinsamer Daten, gemeinsamer Entscheidungen und gemeinsamer Verantwortlichkeiten miteinander verbindet. Governance ist kein Richtlinien-Dokument. Es handelt sich vielmehr um eine Reihe von Vorgehensweisen, die von den Teams konsequent befolgt werden und durch Tools unterstützt werden, die Kostendaten für alle drei Funktionen zugänglich und verwertbar machen.

Zu den praktischen Schritten zum Aufbau dieser Governance gehören:

1. Legen Sie die Zuständigkeiten eindeutig fest. Bestimmen Sie einen namentlich benannten FinOps-Verantwortlichen oder einen für KI-Kosten zuständigen Verantwortlichen, der die Zusammenarbeit zwischen den Teams koordiniert und sicherstellt, dass die Ausgabenüberprüfungen termingerecht stattfinden.
2. Richten Sie einen regelmäßigen Rhythmus ein. Monatliche oder zweiwöchentliche Besprechungen, bei denen die Teams aus den Bereichen Finanzen, Technik und KI dieselben Kostendaten prüfen und gemeinsam Entscheidungen treffen. Dadurch werden Ad-hoc-Gespräche durch einen strukturierten Rhythmus ersetzt.
3. Erstellen Sie eine gemeinsame Taxonomie. Einigen Sie sich darauf, wie KI-Workloads kategorisiert, mit Tags versehen und in Berichten erfasst werden, damit alle auf einheitlichen Daten basieren und nicht auf unterschiedlichen Sichtweisen derselben Infrastruktur.
4. Legen Sie die Entscheidungsbefugnisse klar fest. Halten Sie fest, wer welche Ausgaben genehmigen darf, ab welcher Kostengrenze dies gilt und wie die Eskalationskette aussieht, wenn die Ausgaben vom Plan abweichen.
5. Stellen Sie einen Zusammenhang zwischen den Ausgaben für KI und dem geschäftlichen Nutzen her. Eine Unternehmensführung, die lediglich die Kosten erfasst, ohne diese mit den Ergebnissen zu verknüpfen, verliert schnell an Glaubwürdigkeit. Für jede KI-Initiative sollte eine konkrete Wertvorstellung festgelegt werden, die die Finanzabteilung und die Geschäftsverantwortlichen parallel zu den Ausgaben verfolgen können.

A Bewertung des Reifegrades von FinOps ist ein nützlicher Ausgangspunkt für Organisationen, die vor der Entwicklung eines Governance-Modells ermitteln möchten, wo ihre derzeitigen Praktiken noch Defizite aufweisen. Es deckt Lücken in den Bereichen Personal, Prozesse, Tools und Datenqualität auf, die andernfalls die Governance-Struktur untergraben würden, noch bevor diese etabliert ist.

So unterstützen wir Sie dabei, die KI-Ausgaben in den Bereichen Finanzen und Technik zu steuern

Wir unterstützen Unternehmen dabei, den Übergang von einem reaktiven KI-Kostenmanagement zu einer strukturierten, funktionsübergreifenden Steuerung zu vollziehen, die Finanz-, Technik- und KI-Teams auf der Grundlage gemeinsamer Verantwortung miteinander verbindet. Unser Ansatz ist praxisorientiert und auf die spezifischen Dynamiken der KI- und Cloud-Ausgaben in großen Unternehmen zugeschnitten.

Wenn Sie mit uns zusammenarbeiten, können Sie Folgendes erwarten:

• Ein klares Zuständigkeitsmodell, das festlegt, wer für was verantwortlich ist, ohne dabei bürokratische Reibungsverluste zu verursachen, die KI-Teams ausbremsen
• Ein Governance-Konzept, das Entscheidungsbefugnisse, Genehmigungsschwellen und die Häufigkeit der Überprüfung von Budgets für KI-Experimente und Produktions-Workloads umfasst
• Tagging- und Zuordnungsrahmen für KI-Infrastrukturen, einschließlich gemeinsam genutzter GPU-Cluster, Kosten für Modell-APIs von Drittanbietern und Ausgaben für Datenpipelines
• Integration Ihrer KI-Kostendaten in das übergeordnete IT-Finanzmanagement durch FinOps-Tools das den Bereichen Finanzen und Technik eine einheitliche, verlässliche Übersicht bietet
• Schulungen für Teams aus den Bereichen Finanzen, Technik und KI, damit kostenbewusstes Entscheiden zu einer gemeinsamen Kompetenz wird und nicht länger eine Aufgabe von Spezialisten bleibt

Wenn Sie ein Modell zur Steuerung der KI-Ausgaben entwickeln möchten, das in allen Ihren Teams tatsächlich funktioniert, Nehmen Sie Kontakt mit uns auf um zu besprechen, wo wir anfangen sollen.