Kennzahlen zur Bewertung von Dienstleistern sollten in Lieferantenverträgen enthalten sein, sofern sie präzise definiert, unabhängig gemessen und mit einer Konsequenz verknüpft werden können. Die besten Verträge decken vier Bereiche ab: Aufgabenerfüllung, Kosten und Nutzung, Risiko und Compliance sowie Berichterstattung. Jede Kennzahl benötigt eine Formel, einen Referenzwert, einen Verantwortlichen für die Messung und eine Abhilfemaßnahme.
KI-Agenten verhalten sich anders als herkömmliche Software. Ihre Ergebnisse variieren, ihre Kosten steigen mit der Nutzung, und ihre Qualität verändert sich im Laufe der Zeit. Dieser Artikel beantwortet sechs Fragen, die Ihnen dabei helfen, Vertragsbedingungen zu formulieren, die sich in der Praxis bewähren.
Wie lassen sich Kennzahlen der Mitarbeiter in verbindliche SLAs umsetzen?
Sie wandeln Agentenkennzahlen in einklagbare SLAs um, indem Sie jede einzelne mit einer Messformel, einer Datenquelle, einem Referenzwert, einem Zielschwellenwert und einer Konsequenz bei Nichteinhaltung definieren. Eine Kennzahl ohne diese fünf Elemente ist ein Ziel, keine Verpflichtung, und ein Anbieter kann sie anfechten.
Gehen Sie von dem Geschäftsergebnis aus, das Sie anstreben, und nicht von den Funktionen des Modells. Wenn Sie für gelöste Support-Tickets bezahlen, legen Sie die SLA auf die Qualität der Lösung aus. Arbeiten Sie dann rückwärts zu den Kennzahlen, die dies belegen.
Verwenden Sie diese Checkliste für jede Kennzahl, die Sie entwerfen:
- Definition: Was gilt als erfolgreich erledigte Aufgabe? Dies sollte so formuliert werden, dass beide Seiten es gleich verstehen.
- Testreihe: eine repräsentative Auswahl realer Aufgaben, die in festgelegten Abständen aktualisiert wird.
- Schwellenwert: ein Mindestniveau sowie ein Zielniveau für Leistungsgutschriften oder Prämien.
- Messfenster: monatlich oder vierteljährlich, mit Regeln für Ausreißer und Ausfälle.
- Änderungskontrolle: ein Verfahren zur erneuten Validierung von Kennzahlen, wenn der Anbieter das zugrunde liegende Modell aktualisiert.
Modellaktualisierungen verdienen besondere Aufmerksamkeit. Ein Anbieter kann das dem Agenten zugrunde liegende Modell austauschen und das Verhalten von heute auf morgen ändern. Verlangen Sie eine Vorankündigung und einen erneuten Test anhand Ihrer Basislinie, bevor Änderungen in Betrieb genommen werden.
Welche Leistungskennzahlen sollten vertraglich garantiert werden?
Vertrag über Leistungskennzahlen, die die tatsächlichen Aufgabenergebnisse widerspiegeln: Erfolgsquote der Aufgaben, Genauigkeit bzw. Fehlerquote bei einem definierten Testdatensatz, Latenzzeit, Verfügbarkeit und Eskalationsrate an menschliche Mitarbeiter. Diese Kennzahlen messen, ob der Agent seine Aufgabe erfüllt, und jede einzelne davon lässt sich anhand einer dokumentierten Basislinie überprüfen.
Wählen Sie eine kleine Anzahl aus. Fünf oder sechs klar definierte Kennzahlen lassen sich leichter umsetzen als zwanzig vage.
- Erfolgsquote der Aufgaben: Der Anteil der Aufgaben, die ohne manuelle Nachbearbeitung korrekt erledigt wurden.
- Genauigkeit und Halluzinationsrate: der Anteil der Ergebnisse, die sachliche Fehler oder unbegründete Behauptungen enthalten, gemessen anhand einer Referenzmenge.
- Latenz: Reaktionszeit im Median und am 95. Perzentil, da Durchschnittswerte langsame Ausreißer verschleiern.
- Verfügbarkeit: Verfügbarkeit des Agenten sowie der damit verbundenen Tools und Datenquellen.
- Eskalations- und Fallback-Rate: wie oft der Agent Aufgaben an einen Menschen übergibt und wie gut er seine eigenen Grenzen erkennt.
Vermeiden Sie es, allgemeine Benchmark-Ergebnisse als Garantie anzugeben. Öffentliche Benchmarks entsprechen selten Ihren Arbeitsabläufen. Führen Sie die Bewertung anhand Ihrer eigenen Aufgaben durch und legen Sie gemeinsam fest, wie Sie diesen Bewertungssatz erstellen und aktualisieren werden.
Wie sollten Kosten- und Nutzungskennzahlen in Verträgen festgehalten werden?
Verankern Sie Kosten- und Nutzungskennzahlen in Verträgen, indem Sie die Abrechnungseinheit festlegen, einen Preis pro erfolgreicher Aufgabe festsetzen, variable Gebühren begrenzen und eine detaillierte Nutzungsabrechnung verlangen. Agenten verbrauchen Token, Tool-Aufrufe und Rechenleistung in unvorhersehbaren Mengen, daher schützen Sie die Unit Economics vor unerwartet hohen Rechnungen.
Die Kosten pro Aufgabe sind die aussagekräftigste Kennzahl. Sie stellen einen Zusammenhang zwischen den Ausgaben und den Ergebnissen her und ermöglichen einen Vergleich der Anbieter auf gleicher Basis. Definieren Sie diese Kennzahl klar: Gesamtkosten geteilt durch die Aufgaben, die die Erfolgskriterien erfüllen – nicht durch die Anzahl der versuchten Aufgaben. Andernfalls zahlen Sie für Fehlschläge.
Fügen Sie folgende Begriffe ein:
- Preisgrundlage: pro Aufgabe, pro gelöstem Fall, pro Token oder pro Arbeitsplatz, mit einer klaren Erläuterung, wodurch eine Gebühr ausgelöst wird.
- Ausgabenobergrenzen und Benachrichtigungen: Höchstgrenzen und Benachrichtigungsschwellenwerte für außer Kontrolle geratene Schleifen oder Wiederholungsversuche.
- Preisschutz: Beschränkungen für Preiserhöhungen, wenn der Anbieter Modelle oder Preisstufen ändert.
- Transparenz bei der Nutzung: Detaillierte Berichte nach Mitarbeiter, Team und Anwendungsfall in einem Format, das Sie in Ihre eigenen Kostendaten importieren können.
- Wiederholungsversuche und Fehlerbehandlung: Eine Regelung, wonach fehlgeschlagene oder wiederholte Anrufe nicht zum vollen Tarif abgerechnet werden.
Die Ausgaben für KI verhalten sich ähnlich wie die für die Cloud: Sie sind nutzungsabhängig, ändern sich schnell und lassen sich leicht aus den Augen verlieren. Wenn Sie bereits eine FinOps-Praxis, erweitern Sie Ihre Zuweisungs- und Prognoseverfahren auf den Agent-Verbrauch, damit Ihre Vertragsbedingungen zu einer echten Kostenkontrolle beitragen.
Welche Risiko- und Compliance-Kennzahlen sollten in die Vereinbarung aufgenommen werden?
Risiko- und Compliance-Kennzahlen in einem Agentenvertrag sollten die Bereiche Datenverarbeitung, Sicherheitsvorfälle, Verstöße gegen Richtlinien, Nachvollziehbarkeit sowie Tests auf Voreingenommenheit und Sicherheit abdecken. Sie wandeln allgemeine Versprechen hinsichtlich verantwortungsvoller KI in messbare Verpflichtungen mit Berichtspflichten und Konsequenzen um.
Behandeln Sie folgende Themen:
- Datenschutz: Wo die Daten verarbeitet und gespeichert werden, ob Ihre Daten zum Training der Modelle des Anbieters verwendet werden sowie die Fristen für die Aufbewahrung und Löschung.
- Sicherheitsvorfälle: Meldefristen, wie z. B. die Anzahl der Stunden ab Feststellung, sowie die Angaben, die der Anbieter offenlegen muss.
- Verstöße gegen die Leitplankenvorschriften: der Anteil der Ergebnisse, die gegen Ihre Richtlinien zu Inhalten, Berechtigungen oder Aktionen verstoßen, beispielsweise wenn ein Agent eine nicht autorisierte Maßnahme ergreift.
- Nachprüfbarkeit: Protokolle von Eingabeaufforderungen, Tool-Aufrufen und Entscheidungen, die für einen vereinbarten Zeitraum aufbewahrt werden und für Sie zugänglich sind.
- Angleichung der Rechtsvorschriften: Verpflichtungen, die sich aus den für Sie geltenden Vorschriften ergeben, einschließlich der DSGVO und gegebenenfalls des EU-KI-Gesetzes.
- Unterauftragsverarbeiter und Modellanbieter: Offenlegung von Dritten, mit vorheriger Benachrichtigung vor Änderungen.
Agenten handeln, sie antworten nicht nur. Legen Sie klare Grenzen für die Berechtigungen fest und verlangen Sie vom Anbieter, dass er alle Handlungen, die darüber hinausgehen, erfasst und meldet.
Wer ermittelt die Kennzahlen und wie werden diese überprüft?
Sie sollten sich bei der Erfassung der Agent-Kennzahlen nicht allein auf den Anbieter verlassen. Kombinieren Sie die vom Anbieter bereitgestellten Berichte mit Ihren eigenen Telemetriedaten und regelmäßigen unabhängigen Tests. Der Vertrag sollte die maßgebliche Datenquelle benennen, Prüfungsrechte gewähren und ein Streitbeilegungsverfahren für widersprüchliche Zahlen festlegen.
Ein praktikables Verifizierungsmodell besteht aus drei Ebenen:
- Anbieterberichte: regelmäßige Dashboards oder Berichte, die einem vereinbarten Format und festgelegten Kennzahlen folgen.
- Messung auf Kundenseite: Ihre eigenen Protokolle, stichprobenartige manuelle Überprüfungen und automatisierte Auswertungsläufe auf Ihrem Testdatensatz.
- Unabhängige Validierung: eine regelmäßige externe oder interne Prüfung, insbesondere nach größeren Modelländerungen.
Legen Sie im Voraus fest, welche Quelle bei widersprüchlichen Zahlen maßgeblich ist. Viele Teams legen fest, dass ihre eigenen Telemetriedaten als Referenz für Abrechnungs- und Erfolgskennzahlen dienen, während die Protokolle des Anbieters als Referenz für Sicherheitsereignisse herangezogen werden. Führen Sie monatliche oder vierteljährliche Besprechungen ein, damit die Kennzahlen zu Entscheidungen führen und nicht nur in Berichten enden. Dies bietet zudem strategisches Portfolio-Management die Informationen, die das Unternehmen benötigt, um zu entscheiden, welche Agent-Investitionen ausgebaut, optimiert oder eingestellt werden sollen.
Welche Maßnahmen gelten, wenn die Kennzahlen der Mitarbeiter nicht erreicht werden?
Maßnahmen bei Nichteinhaltung von Kennzahlen durch Mitarbeiter sollten stufenweise eskalieren: Servicegutschriften bei geringfügigen Abweichungen, ein Plan mit Korrekturmaßnahmen bei wiederholten Abweichungen und Kündigungsrechte bei schwerwiegenden oder anhaltenden Verstößen. Verknüpfen Sie jede Maßnahme mit einer bestimmten Kennzahl und einem bestimmten Schwellenwert, damit die Durchsetzung nicht von Verhandlungen abhängt.
Erstellen Sie eine abgestufte Struktur:
- Leistungsgutschriften: Ein Prozentsatz der Gebühren, der zurückerstattet wird, wenn eine Kennzahl unter den Schwellenwert fällt, skaliert nach dem Ausmaß der Abweichung.
- Plan für Korrekturmaßnahmen: eine vorgeschriebene schriftliche Korrekturmaßnahme mit Fristen nach einer wiederholten oder schwerwiegenden Abweichung.
- Verbesserte Aufsicht: häufigere Berichterstattung oder manuelle Überprüfung auf Kosten des Anbieters, bis sich die Leistung wieder normalisiert hat.
- Kündigung aus wichtigem Grund: das Recht, nach wiederholten Versäumnissen oder einem schwerwiegenden Verstoß gegen die Compliance-Vorschriften ohne Vertragsstrafe aus dem Vertrag auszusteigen.
- Haftung für Schäden: klare Regelungen für Verluste aufgrund von Datenschutzverletzungen oder Handlungen böswilliger Akteure, statt lediglich auf Gutschriften zu setzen.
- Hilfe zum Beenden: Datenrückgabe, Protokollexport und Unterstützung beim Anbieterwechsel.
Die Gutschriften allein decken selten die tatsächlichen Kosten, die durch einen ausfallenden Vertreter entstehen. Stellen Sie sicher, dass die Haftungshöchstgrenzen und Ausschlussklauseln im Rahmenvertrag nicht stillschweigend die von Ihnen ausgehandelten Rechtsbehelfe außer Kraft setzen.
Wie wir bei der Bewertung von Vertragskennzahlen für Anbieter von KI-Agenten helfen
Wir helfen Ihnen dabei, die Vertragsbedingungen Ihrer Vertreter mit den Finanz- und Wertdaten zu verknüpfen, die Sie bereits verwalten. Unsere Berater verbinden IT-Finanzmanagement, FinOps und Portfoliomanagement, sodass Ihre Kennzahlen mit Kosten, Ergebnissen und Verantwortlichkeiten verknüpft sind, anstatt in einem Rechtsdokument zu verstauben, das niemand liest.
So unterstützen wir Sie:
- Wir ermitteln die Kosten pro Aufgabe und die Stückkosten für Agentendienste, damit Sie Anbieter vergleichen und den Nutzen nachverfolgen können.
- Wir entwickeln das Zuordnungs- und Berichtsmodell, das Daten zur Anbieternutzung in entscheidungsreife Erkenntnisse für die Bereiche Finanzen, IT und Beschaffung umwandelt.
- Wir richten eine Governance-Struktur mit klar definierten Verantwortlichen, regelmäßigen Überprüfungsrhythmen und Entscheidungsbefugnissen ein, damit Sie bei verfehlten Kennzahlen entsprechend handeln können.
- Wir helfen Ihnen dabei, die Vertragsbedingungen an Ihre Praktiken im Bereich Cloud- und Technologieausgaben anzupassen, und stützen uns dabei auf unsere Erfahrung in den Bereichen FinOps und Technology Business Management.
- Wir unterstützen Sie dabei, Investitionen in Wirkstoffe gegen Ihre übergeordneten Portfolio-Prioritäten abzuwägen.
Möchten Sie Vertragskennzahlen, die Sie messen, überprüfen und durchsetzen können? Nehmen Sie Kontakt mit uns auf und wir zeigen Ihnen, wie Sie diese umsetzen können.