Wie werden die Kosten für eine gemeinsam genutzte generative KI-Plattform aufgeteilt, wenn mehrere Produkte dieselben Modelle verwenden?

Um die Kosten einer gemeinsam genutzten generativen KI-Plattform auf mehrere Produkte zu verteilen, ordnen Sie die Kosten anhand messbarer Nutzungsindikatoren – wie beispielsweise Token-Verbrauch, API-Aufrufvolumen oder Rechenstunden – pro Produkt oder Team zu. Dieser Ansatz gewährleistet, dass jeder Produktverantwortliche einen fairen und nachvollziehbaren Anteil an den Gesamtkosten erhält, anstatt die Kosten willkürlich aufzuteilen. In den folgenden Abschnitten wird erläutert, warum dies schwieriger ist, als es klingt, welche Daten Sie benötigen und wie Sie dies im Laufe der Zeit steuern können.

Welche Methoden gibt es, um die Kosten für gemeinsam genutzte KI-Modelle auf verschiedene Produkte aufzuteilen?

Die zuverlässigsten Methoden zur Verteilung der Kosten für gemeinsam genutzte KI-Modelle sind die nutzungsbasierte Zuordnung, gestaffelte Kostenpools und die proportionale Verteilung nach Geschäftswert. Die nutzungsbasierte Zuordnung, bei der jedem Produkt die Kosten entsprechend seinem tatsächlichen Token-Verbrauch, seinen API-Aufrufen oder seinen Inferenzanfragen in Rechnung gestellt werden, ist der am besten zu begründende Ausgangspunkt, da sie die Kosten direkt an die Nachfrage koppelt.

In der Praxis setzen Unternehmen je nach Reifegrad ihrer KI-Kostenverfolgung eine Kombination verschiedener Ansätze ein:

• Token-basierte Abrechnung: Bei jedem API-Aufruf an ein gemeinsam genutztes Modell wird die Anzahl der verbrauchten Eingabe- und Ausgabetoken protokolliert. Jedes Produkt erfasst seine eigene Tokenzahl, und die Kosten für die gemeinsam genutzte Plattform werden am Ende des Abrechnungszeitraums anteilig aufgeteilt.
• Showback- und Chargeback-Modelle: Bei „Showback“ werden die Kosten jedem Produktteam gemeldet, ohne dass Gelder überwiesen werden – dies ist in der Anfangsphase nützlich, um ein Bewusstsein dafür zu schaffen. „Chargeback“ geht noch einen Schritt weiter und stellt den internen Teams ihren Anteil tatsächlich in Rechnung, was zu einer stärkeren Verantwortlichkeit führt.
• Gestaffelte Kostenpools: Bestimmte Kosten, wie beispielsweise reservierte Kapazitäten, Basisinfrastruktur oder die Feinabstimmung von Modellen, lassen sich nicht einzelnen Anfragen zuordnen. Diese werden gebündelt und anhand eines vereinbarten Verteilungsschlüssels – beispielsweise der Mitarbeiterzahl, des Umsatzbeitrags oder der durchschnittlichen Nutzung über einen gleitenden Zeitraum – auf die Produkte verteilt.
• Prozesskostenrechnung: In fortgeschritteneren Unternehmen werden die Kosten nicht nur auf Teams, sondern auf bestimmte Arbeitsabläufe oder Nutzerpfade zurückgeführt, was Produktmanagern hilft, die tatsächlichen Kosten einzelner KI-gestützter Funktionen zu erfassen.

Keine Methode funktioniert für sich allein. Die meisten Unternehmen kombinieren die direkte Zuordnung variabler Kosten mit einem gemeinsamen Gemeinkostenpool für feste Plattformkosten, der nach einer vereinbarten Formel geregelt wird, der alle Beteiligten zugestimmt haben.

Warum ist die Kostenverrechnung bei generativer KI schwieriger als bei herkömmlichen gemeinsam genutzten IT-Diensten?

Die Kostenverrechnung bei generativer KI ist schwieriger als bei herkömmlichen gemeinsam genutzten IT-Diensten, da der Verbrauch stark schwankt, unvorhersehbar ist und eher vom Nutzerverhalten als von festen Kapazitäten abhängt. Eine gemeinsam genutzte Datenbank oder eine Netzwerkverbindung weist relativ stabile Nutzungsmuster auf. Bei einem gemeinsam genutzten großen Sprachmodell (LLM) können die Kosten je nach Länge der Eingabeaufforderung, Komplexität der Ausgabe oder Anzahl der gleichzeitigen Nutzer dramatisch ansteigen – oft innerhalb weniger Minuten.

Mehrere Faktoren verschärfen diese Schwierigkeit noch:

• Nichtdeterministische Ausgaben: Im Gegensatz zu einem Rechenauftrag mit vorhersehbarer Laufzeit kann eine Anfrage an eine generative KI sowohl eine kurze Antwort als auch eine Antwort in Essay-Länge liefern. Das Volumen der ausgegebenen Token wirkt sich direkt auf die Kosten aus, und Produktteams können dieses nicht immer kontrollieren oder vorhersagen.
• Gemeinsam genutzte, feinabgestimmte Modelle: Wenn mehrere Produkte ein Modell nutzen, das anhand gemeinsamer Daten feinabgestimmt wurde, stellen die Kosten für diesen Feinabstimmungslauf eine einmalige Investition dar, von der alle Produkte in unterschiedlichem Maße profitieren, was eine nachträgliche Zuordnung umstritten macht.
• Schnelle Kostensteigerung: Die Kosten für generative KI können nichtlinear steigen. Eine Funktion, die in der Testphase kostengünstig ist, kann bei Produktionsvolumen auf eine Weise teuer werden, die bei der herkömmlichen IT-Kapazitätsplanung nicht berücksichtigt wird.
• Komplexität der Anbieterpreise: Cloud-Anbieter und Modellhersteller berechnen unterschiedliche Preise für Tokens, Kontextfenster und Modellstufen. Der Vergleich oder die Zusammenführung dieser Daten zu einer einheitlichen internen Kostenübersicht erfordert einen erheblichen Aufwand im Bereich Data Engineering.

Diese Merkmale bedeuten, dass sich die für Shared Services entwickelten Governance- und Tooling-Praktiken, wie beispielsweise feste monatliche Zuweisungen oder einfache Aufteilungen der Mitarbeiterzahlen, nicht direkt übertragen lassen auf Kostenmanagement im Bereich generativer KI.

Welche Daten benötigen Sie, um die Kosten für KI-Plattformen genau zuzuordnen?

Um die Kosten für gemeinsam genutzte KI-Plattformen genau zuzuordnen, benötigen Sie detaillierte Nutzungsprotokolle, die mindestens nach Produkt, Team oder Anwendungsfall gekennzeichnet sind und Angaben zur Anzahl der Token pro Anfrage, zu Zeitstempeln, zur verwendeten Modellversion sowie zur Identität der aufrufenden Anwendung enthalten. Ohne diese Kennzeichnung auf API-Ebene wird die Kostenzuordnung zu reiner Spekulation.

Die zentralen Datenanforderungen lassen sich in drei Ebenen unterteilen:

Telemetrie auf Anfrageebene

Bei jedem Aufruf der KI-Plattform sollten die Anzahl der Eingabe-Token, die Anzahl der Ausgabe-Token, der Modell-Endpunkt, die Latenz sowie ein Tag protokolliert werden, das das Produkt oder das Team identifiziert, das die Anfrage stellt. Diese Daten bilden die Grundlage für die nutzungsbasierte Zuweisung. Falls Ihre Plattform diese Daten nicht standardmäßig ausgibt, müssen Sie das API-Gateway oder die Middleware-Schicht entsprechend ausstatten, um sie zu erfassen.

Kostenaufschlüsselung und Tarifdaten

Die reinen Token-Zahlen sind nur dann aussagekräftig, wenn sie den tatsächlichen Kosten zugeordnet werden. Sie benötigen aktuelle Preisdaten von Ihrem Modellanbieter, einschließlich etwaiger Mengenrabatte, Vereinbarungen über reservierte Kapazitäten oder gestaffelter Preisschwellen, um die Nutzung in Geldwerte umzurechnen. Diese Preisdaten ändern sich, sobald Anbieter ihre Preise aktualisieren, daher müssen sie gepflegt und mit Versionsangaben versehen werden.

Bestandsaufstellung der geteilten Kosten

Neben den variablen Inferenzkosten benötigen Sie eine übersichtliche Aufstellung der fixen Plattformkosten: Infrastruktur für das Modell-Hosting, Feinabstimmungsläufe, Speicherung in Vektordatenbanken, Überwachungstools sowie der Zeitaufwand der Entwickler für die Wartung der Plattform. Diese Kosten müssen dokumentiert und regelmäßig aktualisiert werden, damit sie anhand der von Ihnen gewählten Gemeinkostenmethode zugeordnet werden können.

Die Integration dieser drei Datenströme in eine einheitliche Zuordnungsansicht, die im Idealfall mit Ihrem übergeordneten IT-Finanzmanagement- oder FinOps-Tool verbunden ist, unterscheidet Unternehmen, die fundierte Entscheidungen über KI-Ausgaben treffen können, von denen, die nur auf unerklärte Rechnungen reagieren.

Sollten KI-Kosten als gemeinsame Gemeinkosten oder als direkte Produktkosten behandelt werden?

Die Kosten für KI-Plattformen sollten aufgeteilt werden: Variable Inferenzkosten sollten als direkte Produktkosten behandelt werden, feste Plattformkosten hingegen als gemeinsam getragene Gemeinkosten. Dieser hybride Ansatz spiegelt das tatsächliche Kostenverhalten wider und schafft die richtigen Anreize für Produktteams, ohne diese für Infrastrukturentscheidungen zu benachteiligen, die sie nicht getroffen haben.

Die Behandlung aller KI-Kosten als gemeinsam getragene Gemeinkosten führt zu einem Verlust der Verantwortlichkeit. Wenn ein Produktteam weiß, dass seine intensive Nutzung auf alle Teams verteilt wird, hat es keinen finanziellen Anreiz, Prompts zu optimieren, Antworten zwischenzuspeichern oder gegebenenfalls kostengünstigere Modellstufen zu wählen. Die Zuordnung von Gemeinkosten verschleiert zudem die tatsächliche Stückkostenrechnung einzelner Produkte, was die Beurteilung der wirtschaftlichen Rentabilität einer Funktion erschwert.

Andererseits führt die Behandlung aller KI-Kosten als direkte Produktkosten zu Reibungsverlusten bei gemeinsam genutzten Investitionen. Ein feinabgestimmtes Modell, das für ein Produkt entwickelt wurde, aber von drei Produkten genutzt wird, sollte nicht vollständig dem Team in Rechnung gestellt werden, das es initiiert hat. Ebenso kommen die technischen Kosten für die Wartung der gemeinsam genutzten Plattform allen zugute und sollten entsprechend verteilt werden.

Ein praktischer Ansatzpunkt ist die Festlegung einer klaren Abgrenzung: Alles, was pro Anfrage gemessen werden kann, ist ein Direktkostenposten; alles, was sich nicht einem bestimmten Auftrag oder Produkt zuordnen lässt, ist Gemeinkostenposten. Überprüfen Sie diese Abgrenzung vierteljährlich im Zuge der Weiterentwicklung Ihrer Plattform, denn was zunächst als gemeinsame Fixkosten anfängt – wie beispielsweise reservierte GPU-Kapazität –, kann mit der Stabilisierung der Nutzungsmuster möglicherweise den einzelnen Aufträgen zugeordnet werden.

Inwiefern lassen sich FinOps-Praktiken auf die Kostenaufteilung bei generativer KI anwenden?

FinOps-Verfahren lassen sich direkt auf die Kostenaufteilung bei generativer KI anwenden, indem sie dieselben Methoden, die im Cloud-Finanzmanagement zum Einsatz kommen – wie Tagging, Showback, Chargeback, Rightsizing und Commitment-Optimierung –, auf die KI-Infrastruktur übertragen. Das Kernprinzip von FinOps besteht darin, dass Kostenentscheidungen von den Teams getroffen werden sollten, die der Nutzung am nächsten stehen, gestützt auf genaue Daten und einen gemeinsamen Governance-Rhythmus.

Auf generative KI angewendet bedeutet dies:

• Kennzeichnung und Etikettierung: Jeder KI-API-Aufruf sollte Metadaten enthalten, die das Produkt, die Umgebung (Entwicklung, Test, Produktion) und den Anwendungsfall identifizieren. Dies entspricht der Kennzeichnung von Cloud-Ressourcen und ist die Voraussetzung für jede sinnvolle Zuordnung.
• Regelmäßige Kostenüberprüfungen: Im Rahmen der FinOps-Praxis sind regelmäßige Kostenüberprüfungen – wöchentlich oder monatlich – vorgesehen, bei denen Vertreter der Finanzabteilung, der Technik und der Produktverantwortlichen gemeinsam die Ausgaben analysieren. Bei KI-Kosten bedeutet dies, die Trends beim Token-Verbrauch zu überprüfen, Anomalien zu identifizieren und gemeinsame Entscheidungen zur Optimierung zu treffen.
• Auswahl des „Rightsizing“-Modells: So wie FinOps dazu anregt, Recheninstanzen optimal zu dimensionieren, fördert das KI-Kostenmanagement den Einsatz des kleinsten Modells, das die Qualitätsanforderungen erfüllt. Nicht jeder Anwendungsfall erfordert das leistungsstärkste und teuerste verfügbare Modell.
• Verpflichtungs- und Reservierungsplanung: Viele KI-Anbieter bieten Preisnachlässe für fest zugesagte Nutzungsmengen an. FinOps-Governance-Rahmenwerke helfen Unternehmen dabei, zu beurteilen, ob ihre Nutzung stabil genug ist, um von diesen Vereinbarungen zu profitieren, ohne sich dabei zu sehr zu verpflichten.

Der Zusammenhang zwischen FinOps-KI-Kosten Auch das umfassendere „Technology Business Management“ (TBM) spielt hier eine Rolle. Wenn die Kosten für KI-Plattformen transparent sind und zugeordnet werden können, lassen sie sich den von ihnen unterstützten Unternehmensdienstleistungen und Produkten zuordnen. Dadurch wird es möglich, die Rendite von KI-Investitionen nicht nur auf Infrastrukturebene, sondern auch auf Portfolioebene zu bewerten.

Welches Governance-Modell sorgt dafür, dass die gemeinsam getragenen KI-Kosten langfristig fair bleiben?

Ein Governance-Modell, das die Kosten für eine gemeinsam genutzte KI-Plattform langfristig fair hält, erfordert drei Elemente: eine dokumentierte Verteilungsrichtlinie, der alle Produktteams zustimmen, einen regelmäßigen Rhythmus für die Überprüfung und Aktualisierung dieser Richtlinie sowie eine klare Zuständigkeit für die Kostenfunktion der KI-Plattform. Fehlen diese drei Elemente, geraten die Kostenverteilungsentscheidungen ins Rutschen, es kommt zu Streitigkeiten, und kostenintensive Teams subventionieren kostengünstige Teams ohne Transparenz.

Die Verrechnungsrichtlinie sollte festlegen, welche Kosten direkte Kosten und welche Gemeinkosten sind, welche Verrechnungsschlüssel für die einzelnen Gemeinkostenpools verwendet werden und wie die Richtlinie aktualisiert wird, wenn neue Produkte hinzukommen oder sich die Plattformkosten ändern. Sie sollte versionsverwaltet sein und sowohl von der Finanz- als auch von der Technikleitung genehmigt werden.

Die Häufigkeit der Überprüfungen ist ebenso wichtig wie die Richtlinie selbst. Die Nutzungsmuster von KI ändern sich schnell – eine neue Produktfunktion kann den Token-Verbrauch innerhalb eines Sprints verdoppeln. Monatliche Überprüfungen der tatsächlichen Kosten im Vergleich zu den zugewiesenen Kosten, verbunden mit einem festgelegten Prozess zur Anpassung der Verteilungsschlüssel, verhindern, dass die Richtlinie veraltet. Vierteljährliche Überprüfungen der Zusammensetzung des Gemeinkostenpools stellen sicher, dass die Fixkosten auch bei der Weiterentwicklung der Plattform weiterhin fair verteilt werden.

Oftmals fehlt es an einer klaren Zuständigkeit. Es muss jemand verantwortlich sein für die Pflege des Zuweisungsmodells, die Beilegung von Streitfällen und die Kommunikation von Änderungen an die Produktteams. In Unternehmen mit einer FinOps-Funktion liegt diese Aufgabe naturgemäß beim FinOps-Leiter oder einem festgelegten Verantwortlichen für die Kosten der KI-Plattform. Ohne einen benannten Verantwortlichen existiert die Governance nur auf dem Papier, nicht aber in der Praxis.

A Bewertung des Reifegrades von FinOps kann Ihnen dabei helfen, Lücken in Ihrem aktuellen Governance-Modell aufzudecken – sei es bei der Tagging-Disziplin, der Häufigkeit von Überprüfungen oder der Klarheit der Zuständigkeiten –, bevor diese Lücken zu Streitigkeiten über das Budget führen.

So unterstützen wir Sie bei der Verwaltung der Kosten für gemeinsam genutzte generative KI-Plattformen

Wir unterstützen Unternehmen dabei, den Übergang von einer reaktiven KI-Kostenberichterstattung zu einem aktiven, geregelten Kostenmanagement zu vollziehen, damit jedes Produktteam einen fairen und genauen Überblick über seine Ausgaben für die gemeinsam genutzte KI-Infrastruktur erhält und die Unternehmensleitung fundierte Entscheidungen über KI-Investitionen treffen kann.

Wenn Sie mit uns zusammenarbeiten, profitieren Sie von folgenden Vorteilen:

• Konzeption der KI-Kostenverrechnung: Wir unterstützen Sie dabei, zu bestimmen, welche Kosten direkt und welche indirekt sind, Ihre Verrechnungsschlüssel zu konzipieren und die Vorgehensweise so zu dokumentieren, dass die Teams aus den Bereichen Finanzen, Technik und Produktentwicklung gleichermaßen damit arbeiten können.
• Leitfaden zur Tagging- und Datenarchitektur: Wir unterstützen Sie bei der Implementierung Ihrer KI-API-Schicht, damit Telemetriedaten auf Anforderungsebene vom ersten Tag an mit den richtigen Tags in Ihre Kostenmanagement-Tools einfließen.
• FinOps-Governance für KI-Ausgaben: Wir integrieren das KI-gestützte Kostenmanagement in Ihr übergeordnetes FinOps-Betriebsmodell, einschließlich Überprüfungsrhythmen, Zuständigkeiten und Eskalationswegen, damit es langfristig aufrechterhalten wird und nicht nur einmalig eingerichtet wird.
• TBM-Integration: Wir ordnen die Kosten Ihrer KI-Plattform in das übergeordnete Rahmenwerk des Technology Business Management ein, sodass die KI-Ausgaben auf der Ebene der Unternehmensdienstleistungen und Produkte sichtbar werden und nicht nur als Einzelposten im Infrastrukturbudget erscheinen.

Wenn Sie mit unerklärlichen Kostensteigerungen im KI-Bereich, internen Streitigkeiten darüber, wer für gemeinsam genutzte Modelle aufkommt, oder mangelnder Transparenz darüber zu kämpfen haben, wie viel Ihre KI-Plattform tatsächlich pro Produkt kostet, Nehmen Sie Kontakt mit uns auf und wir helfen Ihnen dabei, das Zuteilungsmodell und die Führungsstruktur zu entwickeln, die zu Ihrer Organisation passen.