Wie lässt sich die Prognosegenauigkeit von KI messen und verbessern?

Die Genauigkeit von KI-Prognosen lässt sich messen, indem man die prognostizierten Werte anhand von Kennzahlen wie dem mittleren absoluten Fehler (MAE), dem mittleren absoluten prozentualen Fehler (MAPE) und dem mittleren quadratischen Fehler (RMSE) mit den tatsächlichen Ergebnissen vergleicht und die Abweichung im Zeitverlauf verfolgt. Die Wahl der richtigen Kennzahl hängt von der Art Ihrer Daten und davon ab, wie Sie Fehler gewichten. Um die Genauigkeit zu verbessern, ist eine Kombination aus besserer Datenqualität, Modellvalidierung und regelmäßiger Leistungsüberwachung erforderlich. Dieser Artikel behandelt die wichtigsten Fragen rund um die Messung und Verbesserung der Prognosegenauigkeit von KI.

Anhand welcher Kennzahlen wird die Genauigkeit von KI-Prognosen gemessen?

Die am häufigsten verwendeten Kennzahlen zur Messung der Prognosegenauigkeit von KI sind der mittlere absolute Fehler (MAE), der mittlere absolute prozentuale Fehler (MAPE), der mittlere quadratische Fehler (RMSE) und der Bias. Jede Kennzahl erfasst einen anderen Aspekt der Abweichung der Vorhersagen von den tatsächlichen Werten, weshalb die meisten Teams mehr als eine Kennzahl verfolgen. Die Wahl der Kennzahl sollte die geschäftlichen Kosten der verschiedenen Fehlerarten widerspiegeln.

• MAE (mittlerer absoluter Fehler): Die durchschnittliche absolute Differenz zwischen den vorhergesagten und den tatsächlichen Werten. Leicht zu interpretieren und unempfindlich gegenüber Ausreißern.
• MAPE (mittlerer absoluter prozentualer Fehler): Gibt den Fehler als Prozentsatz der Istwerte an, was den Vergleich der Genauigkeit über verschiedene Skalen hinweg erleichtert.
• RMSE (Root Mean Squared Error): Große Fehler werden stärker bestraft als beim MAE, was diese Methode besonders dann nützlich macht, wenn große Abweichungen besonders kostspielig sind.
• Prognoseabweichung: Gibt an, ob ein Modell systematisch zu hohe oder zu niedrige Vorhersagen liefert. Ein niedriger MAE-Wert bei hohem Bias deutet darauf hin, dass das Modell durchgehend in eine bestimmte Richtung danebenliegt.
• Tracking-Signal: Überwacht den kumulativen Prognosefehler im Zeitverlauf, um festzustellen, wann ein Modell von der Realität abweicht.

Im Zusammenhang mit Finanzprognosen, wie zum Beispiel Prognose der Cloud-Kosten, MAPE wird oft bevorzugt, da es sich auf natürliche Weise mit dem Ausgabevolumen skaliert. Wenn jedoch Ausreißer eine Rolle spielen, wie beispielsweise unerwartete Kostensprünge, liefert RMSE ein sensibleres Signal. Kombinieren Sie Genauigkeitskennzahlen stets mit einer Bias-Prüfung, um sicherzustellen, dass Ihr Modell Entscheidungsträger nicht systematisch in die Irre führt.

Warum verlieren KI-Prognosemodelle mit der Zeit an Genauigkeit?

KI-Prognosemodelle verlieren im Laufe der Zeit an Genauigkeit, was in erster Linie auf Daten- und Konzeptdrift zurückzuführen ist. Daten-Drift tritt auf, wenn sich die statistischen Eigenschaften der Eingabedaten ändern, beispielsweise durch neue Ausgabeverhalten oder Änderungen an der Infrastruktur, auf die das Modell nie trainiert wurde. Konzept-Drift tritt auf, wenn sich die zugrunde liegende Beziehung zwischen Eingaben und Ergebnissen verschiebt, wodurch historische Muster weniger aussagekräftig für zukünftiges Verhalten werden.

Mehrere Faktoren beschleunigen diesen Abbauprozess:

• Veränderte Geschäftsbedingungen: Unternehmenswachstum, Umstrukturierungen oder die Einführung neuer Produkte verändern die Muster, die das Modell gelernt hat.
• Technologische Veränderungen: Migrationen zu neuen Cloud-Anbietern, neuen Dienstarten oder architektonische Veränderungen bringen Variablen mit sich, die das Modell bisher nicht berücksichtigt hat.
• Saisonale oder zyklische Schwankungen: Wenn in den Trainingsdaten nicht genügend saisonale Zyklen erfasst wurden, verschlechtert sich die Genauigkeit, sobald sich diese Zyklen anders wiederholen.
• Änderungen an der Datenpipeline: Änderungen an der Art und Weise, wie Eingabedaten erfasst, gekennzeichnet oder aggregiert werden, können die Modelleingaben unbemerkt verfälschen.

In der Praxis bedeutet dies, dass die Modellgenauigkeit keine einmalig erreichte, unveränderliche Eigenschaft ist. Sie erfordert eine kontinuierliche Überwachung. Ein Modell, das bei der Einführung gute Ergebnisse lieferte, kann unbemerkt und ohne sichtbare Fehler unzuverlässig werden, weshalb eine regelmäßige Validierung anhand der tatsächlichen Ergebnisse unverzichtbar ist.

Wie überprüft man die Zuverlässigkeit einer KI-Prognose, bevor man sie als Entscheidungsgrundlage heranzieht?

Bevor Sie eine KI-Prognose für Entscheidungen nutzen, validieren Sie diese, indem Sie sie an einem Holdout-Datensatz testen, die Vorhersagen mit bekannten Ist-Werten vergleichen, auf systematische Verzerrungen prüfen und sie anhand von Randfällen einem Stresstest unterziehen. Die Validierung sollte sowohl vor der Bereitstellung als auch kontinuierlich während des Betriebs erfolgen, da ein Modell, das die anfängliche Validierung besteht, dennoch an Leistung verlieren kann, sobald es mit den Schwankungen der realen Welt konfrontiert wird.

Validierungsschritte vor der Bereitstellung

Bevor Sie ein Prognosemodell in den Produktivbetrieb übernehmen, sollten Sie folgende Validierungsansätze anwenden:

• Aufteilung in Trainings- und Testdaten: Trainieren Sie das Modell anhand historischer Daten und bewerten Sie es anhand eines separaten Testdatensatzes, den es zuvor noch nie gesehen hat.
• Walk-Forward-Validierung: Simulieren Sie, wie sich das Modell in aufeinanderfolgenden Zeitfenstern verhalten hätte – dies ist für Zeitreihenprognosen realistischer als eine einmalige Aufteilung in Trainings- und Testdaten.
• Verzerrungsanalyse: Prüfen Sie, ob Fehler zufällig verteilt sind oder sich um bestimmte Bedingungen, Zeiträume oder Eingabebereiche gruppieren.
• Sensitivitätsanalyse: Variieren Sie die Eingabewerte, um zu sehen, wie das Modell darauf reagiert. Eine unrealistische Empfindlichkeit gegenüber geringfügigen Änderungen ist ein Warnzeichen.

Laufende betriebliche Validierung

Vergleichen Sie nach der Einführung regelmäßig die Prognosen mit den Ist-Werten. Legen Sie Schwellenwerte fest, bei deren Überschreitung Warnmeldungen ausgelöst werden, wenn die Fehlerquoten die akzeptablen Bereiche überschreiten. Dokumentieren Sie jeden Fall, in dem die Prognose erheblich daneben lag, und ermitteln Sie die Ursache – sei es ein Datenproblem, eine Einschränkung des Modells oder eine tatsächliche Veränderung im zugrunde liegenden Umfeld.

Was führt zu einer geringen Prognosegenauigkeit bei KI?

Eine geringe Prognosegenauigkeit von KI-Modellen ist meist auf Trainingsdaten von geringer Qualität, unzureichendes Feature Engineering, Überanpassung an historische Muster oder eine Diskrepanz zwischen den Annahmen des Modells und den realen Dynamiken, die es vorherzusagen versucht, zurückzuführen. In der Praxis sind Datenprobleme die häufigste Ursache.

Zu den häufigsten Ursachen zählen:

• Unvollständige oder widersprüchliche Daten: Lücken, Duplikate oder inkonsistente Tagging-Angaben in den Trainingsdaten führen dazu, dass Modelle falsche Muster lernen.
• Unzureichende historische Tiefe: Modelle, die auf einem zu kurzen Zeitrahmen trainiert wurden, erkennen saisonale, zyklische oder trendbasierte Muster nicht.
• Fehlende relevante Variablen: Wenn ein wesentlicher Einflussfaktor für das Ergebnis nicht als Merkmal berücksichtigt wird, gleicht das Modell dies durch Ersatzvariablen aus, deren Aussagekraft mit der Zeit nachlässt.
• Überanpassung: Ein zu komplexes Modell prägt sich das Rauschen in den Trainingsdaten ein, anstatt verallgemeinerbare Muster zu lernen, und schneidet bei neuen Daten schlecht ab.
• Unklar definierte Vorhersageziele: Unklarheiten darüber, was das Modell genau vorhersagt – beispielsweise Bruttoausgaben im Gegensatz zu Nettoausgaben nach Rabatten –, führen von Anfang an zu strukturellen Ungenauigkeiten.

Im Cloud-Finanzmanagement ist eine schlechte Datenqualität eine besonders häufige Ursache für ungenaue Prognosen. Wenn die Kostenverrechnung unvollständig ist, Ressourcen nicht gekennzeichnet sind oder die Daten zur Kostenverrechnung inkonsistent sind, arbeitet das Modell von Anfang an mit einem verzerrten Bild der Realität.

Wie lässt sich die Prognosegenauigkeit der KI verbessern, ohne das Modell neu zu trainieren?

Sie können die Prognosegenauigkeit der KI ohne erneutes Training verbessern, indem Sie die Qualität und Vollständigkeit der Eingabedaten optimieren, Korrekturen in der Nachbearbeitung an bekannte Verzerrungen anpassen, menschliches Urteilsvermögen als Übersteuerungsebene für bekannte Anomalien hinzufügen und die Rückkopplungsschleife zwischen Prognoseergebnissen und tatsächlichen Ergebnissen straffen. Diese Maßnahmen bekämpfen die Symptome der Modellverschlechterung und verschaffen gleichzeitig Zeit, bevor ein vollständiger Trainingszyklus erforderlich wird.

Zu den praktischen Ansätzen gehören:

• Maßnahmen zur Verbesserung der Datenqualität: Beheben Sie Probleme mit den vorgelagerten Daten, wie beispielsweise fehlende Tags, inkonsistente Kostenverrechnung oder verzögerte Datenerfassung. Durch sauberere Eingabedaten lässt sich oft eine erhebliche Genauigkeitssteigerung erzielen, ohne das Modell anzupassen.
• Offset-Korrektur: Wenn das Modell die Ergebnisse durchweg um einen messbaren Betrag zu hoch oder zu niedrig prognostiziert, wenden Sie als kurzfristige Abhilfe einen Kalibrierungsfaktor auf die Ergebnisse an.
• Erweiterung der Funktionen: Fügen Sie neue Eingangssignale hinzu, wie beispielsweise Termine aus dem Unternehmenskalender, bekannte Kostentreiber oder betriebliche Kennzahlen, die dem Modell helfen, die aktuellen Bedingungen besser zu interpretieren.
• Ensemble-Kombination: Kombinieren Sie die Ergebnisse des KI-Modells mit einer einfacheren statistischen Basis. Wenn das KI-Modell abweicht, dient das statistische Modell als stabilisierender Anker.
• „Human-in-the-Loop“-Übersteuerungen: Geben Sie Fachexperten die Möglichkeit, Prognosen zu kennzeichnen und anzupassen, wenn sie über Informationen verfügen, auf die das Modell keinen Zugriff hat, wie beispielsweise eine geplante Infrastrukturmigration oder einen neuen Lieferantenvertrag.

Wann sollte man ein KI-Prognosemodell neu trainieren oder ersetzen?

Sie sollten ein KI-Prognosemodell neu trainieren, wenn die Genauigkeitskennzahlen unter einen akzeptablen Schwellenwert fallen, wenn sich das zugrunde liegende Umfeld erheblich verändert hat oder wenn die Fehler des Modells nicht mehr zufällig verteilt sind, sondern systematische Verzerrungen aufweisen. Ein Austausch des Modells anstelle eines Neutrainings ist dann angebracht, wenn die Architektur des Modells für die aktuelle Prognoseaufgabe grundsätzlich ungeeignet ist.

Zu den konkreten Auslösern für eine Umschulung gehören:

• Die Fehlerquoten überschreiten über mehrere Bewertungszeiträume hinweg durchgehend einen vordefinierten Schwellenwert.
• Es hat sich eine wesentliche geschäftliche oder technologische Veränderung ergeben, die in den aktuellen Trainingsdaten nicht berücksichtigt ist.
• Die Bias-Analyse zeigt, dass das Modell über mehrere Zeiträume hinweg systematisch in eine Richtung falsch ist.
• Es stehen nun neue Datenquellen oder Funktionen zur Verfügung, die die Vorhersagequalität erheblich verbessern würden.

Ein Austausch ist die richtige Entscheidung, wenn eine Neu trainierung die Leistung nicht mehr verbessert, weil die Kernannahmen des Modells nicht mehr der Realität entsprechen, oder wenn ein grundlegend anderer Modellierungsansatz – wie beispielsweise der Wechsel von einem Regressionsmodell zu einem Gradient-Boosting-Ansatz – die aktuelle Dynamik besser erfassen würde.

Als Faustregel gilt, dass man Auslöser für ein erneutes Training im Voraus festlegen sollte, anstatt erst auf sichtbare Fehler zu reagieren. Wenn die Fehler eines Modells für die Beteiligten offensichtlich werden, ist der Schaden für die Entscheidungsqualität möglicherweise bereits entstanden.

So unterstützen wir Sie bei der Steuerung der Prognosegenauigkeit durch KI im Cloud-Finanzmanagement

Die Prognosegenauigkeit im Cloud-Finanzmanagement beruht auf denselben Grundlagen wie jede andere Herausforderung im Bereich der KI-Prognosen: vertrauenswürdige Daten, klare Verantwortlichkeiten und ein strukturierter Feedback-Kreislauf zwischen Prognosen und Ergebnissen. Mit unserem FinOps-Angebot unterstützen wir Unternehmen dabei, genau dies aufzubauen.

Wenn Sie mit uns zusammenarbeiten, profitieren Sie von folgenden Vorteilen:

• Zuverlässige Kostendaten als Grundlage: Wir sorgen für eine vollständige Kostenverrechnung, eine einheitliche Kennzeichnung und saubere Datenpipelines, damit Ihre Prognosemodelle auf präzisen Eingabedaten basieren und nicht auf einem verzerrten Bild der Cloud-Ausgaben.
• Strukturierte Prognose- und Budgetierungsprozesse: Wir führen regelmäßige Entscheidungsrhythmen ein, die Prognosen mit Ist-Werten vergleichen, Abweichungen identifizieren und Korrekturmaßnahmen anstoßen – und nicht nur für Transparenz sorgen.
• Funktionsübergreifende Steuerung: Wir stimmen die Bereiche Finanzen, IT und Technik auf gemeinsame Prognoseannahmen und Verantwortlichkeiten ab, sodass Fehler erkannt und geklärt werden, anstatt ignoriert zu werden.
• Werkzeuge über Apptio Cloudability: Wir implementieren und konfigurieren FinOps-Tools, die die Kennzahlen zur Prognosegenauigkeit und die Abweichungsanalysen liefern, die Ihre Teams benötigen, um sicher handeln zu können.
• Integration mit TBM: Wir verknüpfen Prognosen zu Cloud-Kosten mit übergeordneten Entscheidungen zu Technologieinvestitionen, sodass sich die Genauigkeit der Prognosen direkt in bessere Geschäftsentscheidungen niederschlägt.

Wenn Sie von unzuverlässigen Schätzungen der Cloud-Kosten zu Prognosen übergehen möchten, auf die sich Ihre Führungskräfte verlassen können, Nehmen Sie Kontakt mit uns auf um zu besprechen, wo wir anfangen sollen.