Wie messen Sie den tatsächlich erzielten AI-Wert im Vergleich zum ursprünglichen Business Case?

Um den realisierten AI-Nutzen anhand des ursprünglichen Business Case zu verfolgen, müssen Sie vor der Einführung messbare Erfolgskennzahlen definieren, eine AI-Baseline vor der Einführung festlegen und anschließend die tatsächlichen Ergebnisse nach der Einführung regelmäßig mit diesen Benchmarks vergleichen. Die Lücke zwischen den Erwartungen an die KI und dem, was sie tatsächlich leistet, wird erst dann sichtbar, wenn Sie von Anfang an über ein strukturiertes Messsystem verfügen. Die folgenden Fragen erläutern die einzelnen Komponenten dieses Prozesses in der Praxis.

Mit welchen Kennzahlen lässt sich der tatsächlich erzielte KI-Nutzen nach der Einführung messen?

Der realisierte KI-Nutzen wird anhand einer Kombination aus finanziellen Ergebnissen, betrieblichen Verbesserungen und Geschäftsergebnissen gemessen, die im ursprünglichen Business Case ausdrücklich definiert wurden. Die aussagekräftigsten Kennzahlen lassen sich in drei Kategorien einteilen: Kostensenkung (weniger Arbeitsstunden, geringere Fehlerquoten, gesunkene Bearbeitungskosten), Umsatzauswirkungen (schnellere Durchlaufzeiten, höherer Durchsatz, verbesserte Kundenkonversion) und Risikominderung (weniger Compliance-Verstöße, weniger manuelle Übersteuerungen, verbesserte Prüfpfade).

Der entscheidende Unterschied besteht darin, dass diese Kennzahlen an den jeweiligen Anwendungsfall geknüpft sein müssen. Eine KI zur Schadenbearbeitung sollte anhand der pro Stunde bearbeiteten Schadenfälle und der Fehlerquote gemessen werden, nicht anhand allgemeiner Kennzahlen zur KI-Einführung. Wenn man die falschen Kennzahlen definiert, erzeugt man die Illusion von Mehrwert, ohne zu überprüfen, ob der Business Case tatsächlich umgesetzt wurde.

• Finanzkennzahlen: Kosten pro Transaktion, eingesparte Arbeitsstunden, Gesamtbetriebskosten der KI im Vergleich zum erzielten Nutzen
• Betriebskennzahlen: Prozessdurchlaufzeit, Durchsatzvolumen, Fehler- oder Ausnahmeraten
• Strategische Kennzahlen: Schnelle Entscheidungsfindung, Umverteilung der Arbeitszeit der Mitarbeiter auf wertschöpfendere Tätigkeiten, Kundenzufriedenheitswerte
• Finanzkennzahlen im IT-Bereich: Ausgaben für KI-Infrastruktur im Vergleich zum Budget, Kosten pro KI-gestütztem Ergebnis

Durch die Verknüpfung dieser Kennzahlen mit den Daten des IT-Finanzmanagements erhalten Sie ein umfassendes Gesamtbild. Wenn Sie die Kosten für die KI-Infrastruktur parallel zu den geschäftlichen Ergebnissen, die diese Kosten generieren, verfolgen, können Sie eine aussagekräftige Rendite berechnen, anstatt die Aktivitäten isoliert darzustellen.

Warum stimmen KI-Business-Cases so oft nicht mit den tatsächlichen Ergebnissen überein?

KI-Business-Cases entsprechen nicht den tatsächlichen Ergebnissen, vor allem weil die ursprünglichen Annahmen nicht anhand realer Betriebsbedingungen überprüft werden. Die prognostizierten Vorteile werden oft unter idealen Bedingungen modelliert, während die Umsetzung mit Reibungsverlusten einhergeht: Probleme mit der Datenqualität, Widerstände beim Änderungsmanagement, Verzögerungen bei der Integration und eine schleichende Ausweitung des Projektumfangs vergrößern die Kluft zwischen Prognose und Realität.

In großen Organisationen wird diese Situation durch mehrere strukturelle Probleme noch verschärft. Business Cases werden häufig von Projektteams erstellt, die nach der Inbetriebnahme das Projekt verlassen, sodass niemand mehr dafür verantwortlich ist, zu überprüfen, ob die prognostizierten Einsparungen tatsächlich erzielt wurden. Die Vorteile werden einmalig geschätzt und im Zuge der Weiterentwicklung des KI-Systems oder bei Veränderungen des geschäftlichen Kontexts nie erneut überprüft.

Zudem gibt es ein Messproblem. Viele Unternehmen erfassen zwar die Ergebnisse der KI – beispielsweise die Anzahl der getroffenen Vorhersagen oder der automatisierten Aufgaben –, ohne diese Ergebnisse jedoch mit den finanziellen oder betrieblichen Ergebnissen zu verknüpfen, die die Investition gerechtfertigt haben. Dadurch entsteht eine Lücke in der Berichterstattung: Das System scheint zwar zu funktionieren, doch die Wirtschaftlichkeit bleibt unbestätigt.

Schließlich steigen die KI-Kosten nach der Einführung in der Regel an, da die Nutzung zunimmt, ein erneutes Training der Modelle erforderlich wird und die Komplexität der Integration zunimmt. Wenn diese laufenden Kosten im Business Case nicht berücksichtigt wurden, wird die tatsächlich erzielte Rendite stets schlechter ausfallen als prognostiziert – selbst wenn die KI wie vorgesehen funktioniert.

Wie legt man einen Ausgangswert fest, bevor die KI in Betrieb genommen wird?

Die Festlegung einer „Pre-AI“-Baseline bedeutet, den aktuellen Stand des Prozesses, der Kosten oder des Ergebnisses, das durch den Einsatz der KI verbessert werden soll, anhand von Daten zu dokumentieren, die vor der Einführung des Systems erhoben wurden. Ohne diese Baseline fehlt ein Bezugspunkt, an dem sich Veränderungen messen lassen, und es ist unmöglich, Verbesserungen nach der Einführung mit Sicherheit der KI zuzuschreiben.

Eine aussagekräftige Basislinie erfasst drei Aspekte: die aktuellen Kosten für die Durchführung des Prozesses (Arbeitsaufwand, Werkzeuge, Fehlerbehebung), das aktuelle Leistungsniveau (Taktzeit, Durchsatz, Genauigkeit) und das aktuelle Geschäftsergebnis (erzielter Umsatz, Risikoereignisse, Kundenzufriedenheit). Diese sollten über einen repräsentativen Zeitraum gemessen werden und nicht nur anhand einer einmaligen Momentaufnahme, um saisonale Schwankungen oder Prozessschwankungen zu berücksichtigen.

In der Praxis überspringen viele Organisationen diesen Schritt, da das KI-Projekt bereits angelaufen ist, wenn mit der Messplanung begonnen wird. Das hat zur Folge, dass sich die Berichterstattung nach der Implementierung auf Schätzungen der Ausgangssituation stützt, was die Glaubwürdigkeit jeglicher Wertversprechen untergräbt. Die Einbindung von Basiswertmessungen in den Projektplan – idealerweise gesteuert durch Ihr Portfoliomanagement Prozess stellt sicher, dass dies geschieht, bevor das Fenster geschlossen wird.

Was ist der Unterschied zwischen der Nachverfolgung von KI-Ergebnissen und der Wertrealisierung?

Die Erfassung der KI-Ergebnisse misst, was das System leistet, beispielsweise die Anzahl der verarbeiteten Dokumente, der generierten Empfehlungen oder der gemeldeten Anomalien. Die Wertrealisierung misst, ob diese Ergebnisse zu den geschäftlichen Erfolgen geführt haben, die die Investition gerechtfertigt haben, wie beispielsweise gesenkte Bearbeitungskosten, schnellere Entscheidungen oder weniger Verstöße gegen Compliance-Vorgaben. Die Erfassung der Ergebnisse ist notwendig, reicht jedoch für die Wertrealisierung nicht aus.

Diese Unterscheidung ist wichtig, da KI-Systeme sehr aktiv sein können, ohne einen geschäftlichen Mehrwert zu schaffen. Ein Modell, das Tausende von Empfehlungen generiert, auf die niemand reagiert, liefert zwar Ergebnisse, schafft aber keinen Mehrwert. Ein Betrugserkennungssystem, das Transaktionen zwar korrekt kennzeichnet, dessen Warnmeldungen jedoch von den operativen Teams ignoriert werden, liefert nicht die im Business Case versprochene Risikominderung.

Die Wertschöpfung erfordert eine Nachweiskette: Die KI liefert ein Ergebnis, dieses Ergebnis löst eine manuelle oder automatisierte Aktion aus, und diese Aktion führt zu einem messbaren Geschäftsergebnis. Wird diese Kette an irgendeiner Stelle unterbrochen, geht Wert verloren, und der Business Case wird nicht erfüllt – unabhängig davon, wie gut die KI technisch funktioniert.

Wer ist in großen Unternehmen für die Erfassung des KI-Nutzens zuständig?

In großen Organisationen funktioniert die Nachverfolgung des KI-Nutzens am besten, wenn die Verantwortung auf drei Bereiche verteilt ist: den Geschäftsverantwortlichen, der die ursprüngliche Begründung für die KI-Investition definiert hat, das IT- oder Datenteam, das das System betreibt, und die Finanzabteilung, die überprüfen kann, ob die prognostizierten finanziellen Vorteile tatsächlich eingetreten sind. Kein einzelner Bereich verfügt über einen vollständigen Überblick, weshalb eine isolierte Zuständigkeit immer wieder zu Messlücken führt.

Der Geschäftsinhaber ist dafür verantwortlich, sicherzustellen, dass die betrieblichen Ergebnisse den Prognosen entsprechen. Das IT-Team ist für die Überwachung der Systemleistung, der Nutzung und der Infrastrukturkosten zuständig. Die Finanzabteilung ist dafür verantwortlich, die tatsächlichen Kosten und Einsparungen mit den Finanzkennzahlen des Business Case abzugleichen. Wenn diese drei Funktionen unabhängig voneinander arbeiten, werden Investitionen in KI oft standardmäßig nicht gemessen.

Ein praxisorientiertes Governance-Modell sieht für jede KI-Initiative einen namentlich benannten „Benefit Owner“ vor, wobei ein festgelegter Überprüfungsrhythmus – in der Regel vierteljährlich – vorgesehen ist, in dessen Rahmen der „Benefit Owner“ den im Vergleich zum Business Case erzielten Nutzen berichtet. Dies spiegelt die im ausgereiften Projektportfoliomanagement angewandten Praktiken zur Nutzenrealisierung wider und wendet diese speziell auf KI-Investitionen an. Die Verknüpfung dieser Governance mit Ihrem umfassenderen FinOps und die Praktiken des IT-Finanzmanagements stellen sicher, dass Kosten- und Wertdaten zur KI in dieselben Berichtsstrukturen einfließen, die auch für andere Technologieinvestitionen verwendet werden.

Welche Tools unterstützen die kontinuierliche Messung und Berichterstattung des KI-Nutzens?

Die Tools zur Messung des KI-Nutzens lassen sich in zwei Kategorien einteilen: solche, die die Leistung und Nutzung von KI-Systemen erfassen, und solche, die diese Leistungsdaten mit finanziellen und geschäftlichen Ergebnissen verknüpfen. Eine effektive Messung erfordert beides, da eine rein technische Überwachung allein keinen Aufschluss darüber gibt, ob sich die Investition auszahlt.

Auf technischer Ebene erfassen Modellüberwachungsplattformen die Vorhersagegenauigkeit, Datenabweichungen und die Systemverfügbarkeit. Diese Tools geben Aufschluss darüber, ob die KI ordnungsgemäß funktioniert, nicht jedoch darüber, ob sie einen Mehrwert liefert. Auf finanzieller Ebene ermöglichen es Ihnen IT-Finanzmanagement-Plattformen, die Kosten für die KI-Infrastruktur bestimmten Anwendungsfällen zuzuordnen, die Ausgaben mit dem Budget zu vergleichen und die Kosten pro Ergebnis zu berechnen.

Die nützlichste Berichtsumgebung vereint diese Datenquellen in einer einzigen Ansicht, die sowohl für Geschäftsinhaber als auch für IT-Verantwortliche und Finanzpartner nachvollziehbar ist. Dies bedeutet in der Regel, dass KI-Kostendaten aus Cloud-Abrechnungstools mit Daten zu Geschäftsergebnissen aus operativen Systemen verknüpft und beide über ein gemeinsames Dashboard oder eine gemeinsame Berichtsebene dargestellt werden. Ist diese Integration einmal eingerichtet, können Sie jederzeit die zentrale Frage beantworten: Liefert diese KI-Investition die von uns prognostizierte Rendite, und wenn nicht, wo liegt die Lücke?

So helfen wir Ihnen dabei, den Wert Ihrer KI-Investitionen zu erfassen und zu realisieren

Die Messung des realisierten KI-Werts ist letztlich eine Herausforderung für das IT-Finanzmanagement. Die technischen Aspekte (Modellleistung, Nutzungsdaten und Infrastrukturkosten) sind nur dann von Nutzen, wenn sie mit den Geschäftsergebnissen und finanziellen Verpflichtungen verknüpft werden, die die Investition ursprünglich begründet haben. Diese Verknüpfung erfordert die richtige Governance, die richtigen Datenstrukturen und den richtigen Berichtsrhythmus.

Wir helfen großen Unternehmen dabei, diese Verbindung aufzubauen und zu pflegen. Konkret unterstützen wir Sie bei folgenden Aufgaben:

• Definition der Ausgangswerte und Messkonzept: Bevor Ihre KI in Betrieb genommen wird, helfen wir Ihnen dabei, die Kennzahlen des Ist-Zustands zu dokumentieren, die Ihnen als Bezugspunkt für die Wertverfolgung dienen werden.
• Kostenverrechnung für KI-Workloads: Wir strukturieren Ihre Cloud- und Infrastrukturkostendaten so, dass die Ausgaben für KI transparent, zuordenbar und mit den prognostizierten Kosten vergleichbar sind.
• Steuerung der Nutzenrealisierung: Wir legen das Zuständigkeitsmodell, den Überprüfungsrhythmus und das Berichtsformat fest, damit die Wertverfolgung der KI auch nach der Inbetriebnahme weiterhin aktiv bleibt.
• Integration mit TBM- und FinOps-Frameworks: Wir verknüpfen KI-Investitionsdaten mit Ihren allgemeinen IT-Finanzmanagementprozessen, sodass die Erfassung des KI-ROI in dieselbe Governance-Struktur eingebettet ist wie Ihre anderen Technologieinvestitionen.
• Entscheidungsreife Berichterstattung: Wir entwickeln Berichtssysteme, die Geschäftsinhabern, IT-Verantwortlichen und Finanzpartnern einen gemeinsamen, verlässlichen Überblick über den erzielten Nutzen im Vergleich zum ursprünglichen Business Case bieten.

Wenn Sie nicht mehr nur die Ergebnisse der KI erfassen, sondern den tatsächlich erzielten Nutzen der KI aufzeigen möchten, Nehmen Sie Kontakt mit uns auf um zu besprechen, wie wir Ihre Organisation unterstützen können.