Welche Nachweise sollten Anbieter von KI-Agenten vor der Auswahl vorlegen?

Anbieter von KI-Agenten sollten fünf Arten von Nachweisen vorlegen, bevor Sie sich für sie entscheiden: gemessene Leistungsdaten bei Ihren eigenen Aufgaben, einen funktionierenden Proof of Concept, Unterlagen zu Sicherheit und Compliance, transparente Kosten- und ROI-Daten sowie überprüfbare Referenzen. Zusammen unterscheiden diese Faktoren produktionsreife KI-Agenten von aufpolierten Demos.
Nachweisführung ist wichtig, da KI-Agenten autonom agieren, auf Ihre Daten zugreifen und nutzungsabhängige Kosten verursachen, die im Laufe der Zeit steigen. Ein strukturierter Due-Diligence-Prozess für KI-Anbieter hilft Ihnen dabei, Anbieter anhand von Fakten statt anhand von Verkaufsversprechen zu vergleichen. In den folgenden Abschnitten erfahren Sie, welche Fragen Sie stellen sollten und wie Sie die Antworten bewerten können.
Was die Kostenseite dieses Prozesses betrifft, so ist unsere FinOps-Ansatz bietet einen nützlichen Blickwinkel, da sich die Arbeitslasten von Agenten ähnlich wie bei anderen verbrauchsabhängigen Cloud-Diensten verhalten.

Welche Leistungsnachweise unterscheiden echte KI-Agenten von Demos?

Echte KI-Agenten liefern reproduzierbare, messbare Ergebnisse bei Aufgaben, die Ihren Arbeitsabläufen entsprechen – und nicht bei sorgfältig ausgewählten Demoszenarien. Fragen Sie nach den Erfüllungsquoten, Fehler- und Halluzinationsraten, der Latenz sowie der Fehleranalyse – alles gemessen anhand realistischer Daten. Ein Anbieter, der nicht erklären kann, wo der Agent versagt, hat ihn nicht ordnungsgemäß getestet.

Demos verschleiern die schwierigen Aspekte: unübersichtliche Eingaben, Randfälle und lange Aktionsketten. Fordern Sie die folgenden Belege an, um hinter die Kulissen zu blicken:

  • Methodik der Vergleichsanalyse: wie der Anbieter den Testdatensatz zusammengestellt hat, wer die Ergebnisse klassifiziert hat und ob die Testdaten getrennt von den Trainings- oder Feinabstimmungsdaten gehalten wurden.
  • Kennzahlen auf Aufgabenebene: Erledigungsquote, Genauigkeit, Eskalationsquote an Mitarbeiter und durchschnittliche Anzahl der Schritte pro Aufgabe.
  • Fehlerdokumentation: Beispiele für falsche oder unsichere Handlungen sowie die Schutzmaßnahmen, die diese nun verhindern.
  • Daten zur Konsistenz: Ergebnisse über mehrere Durchläufe hinweg, da sich Agenten bei identischen Eingaben oft unterschiedlich verhalten.
  • Produktions-Telemetrie: Verfügbarkeit, Latenz-Perzentile und Vorfallhistorie aus Live-Bereitstellungen.

Behandeln Sie jeden einzelnen Wert zur Genauigkeit mit Vorsicht. Fragen Sie nach, welche Aufgaben er abdeckt, welche er ausschließt und wie ein menschlicher Prüfer das Ergebnis bewertet hat.

Was sollte ein Proof of Concept vor der Vertragsunterzeichnung nachweisen?

Ein Proof of Concept sollte zeigen, wie der Agent Ihre tatsächlichen Arbeitsabläufe mit Ihren Daten in Ihrer Umgebung gemäß den zuvor vereinbarten Erfolgskriterien durchführt. Er sollte die technische Eignung, die Integrationsfähigkeit und messbare geschäftliche Auswirkungen innerhalb eines festgelegten Zeitrahmens nachweisen und nicht lediglich den besten Anwendungsfall des Anbieters präsentieren.

Ein aussagekräftiger Proof-of-Concept eines KI-Anbieters folgt einer klaren Struktur:

  1. Legen Sie die Erfolgskriterien schriftlich fest. Legen Sie vor Beginn des Pilotprojekts die Zielgenauigkeit, die Geschwindigkeit, die Kosten pro Aufgabe sowie die zulässigen Fehlerarten fest.
  2. Nutzen Sie Ihre eigenen Daten und Systeme. Testen Sie die Integrationen mit Ihrem Identitätsmanagement, Ihren Datenquellen und den nachgelagerten Tools.
  3. Berücksichtigen Sie auch Randfälle. Versorgen Sie den Agenten mit mehrdeutigen, unvollständigen und feindseligen Eingaben.
  4. Den Aufwand für die menschliche Überwachung messen. Ein System, das ständig korrigiert werden muss, verursacht oft höhere Kosten, als es einspart.
  5. Erfassen Sie die tatsächlichen Betriebskosten. Erfassen Sie während der Pilotphase die Token-Nutzung, die Rechenleistung und den Lizenzverbrauch, damit Sie daraus Rückschlüsse auf den Produktivbetrieb ziehen können.

Bestehen Sie darauf, dass der Anbieter die Rohdaten offenlegt und nicht nur eine Zusammenfassungsfolie vorlegt. Wenn der Pilotversuch Ihre Kriterien erfüllt, haben Sie eine stichhaltige Grundlage für Vertragsverhandlungen. Falls er scheitert, haben Sie das zumindest kostengünstig herausgefunden.

Welche Unterlagen zu Sicherheit und Compliance sollten Anbieter vorlegen?

Anbieter sollten unabhängige Prüfberichte, eine Datenverarbeitungsvereinbarung, Architektur- und Datenflussdiagramme sowie eine klare Beschreibung vorlegen, wie der Agent mit Berechtigungen, Protokollierung und dem Training von Modellen anhand Ihrer Daten umgeht. Anhand dieser Dokumente können Ihre Sicherheits- und Rechtsabteilungen die Sicherheit und Compliance des KI-Anbieters beurteilen, ohne sich auf mündliche Zusicherungen verlassen zu müssen.

Fordern Sie Folgendes als Ausgangsbasis an:

  • Unabhängige Zertifizierungen und Prüfberichte, wie beispielsweise ISO 27001 oder SOC 2, wobei der Geltungsbereich klar angegeben ist.
  • Vereinbarung über die Datenverarbeitung sowie die Einhaltung der DSGVO, einschließlich Datenstandort, Listen der Unterauftragsverarbeiter und Aufbewahrungsfristen.
  • Richtlinie zu Trainingsdaten: eine schriftliche Bestätigung darüber, ob Ihre Daten zum Training der Modelle des Anbieters oder eines Dritten verwendet werden.
  • Zugriffs- und Berechtigungsmodell: wie sich der Agent authentifiziert, welche Aktionen er ausführen darf und wie Sie seinen Wirkungsbereich einschränken.
  • Prüfprotokolle: Nachweis, dass jede Aktion eines Agenten nachvollziehbar und exportierbar ist.
  • Begriffe im Zusammenhang mit der Reaktion auf Vorfälle und der Meldung von Datenschutzverletzungen, sowie die Ergebnisse der jüngsten Penetrationstests.
  • KI-spezifische Risikokontrollen, einschließlich Abwehrmaßnahmen gegen Prompt-Injection und Ihrer Verpflichtungen gemäß dem EU-KI-Gesetz, sofern zutreffend.

Prüfen Sie, was das Zertifikat tatsächlich abdeckt. Es kann vorkommen, dass ein Anbieter zwar über eine Zertifizierung für seine Unternehmenssysteme verfügt, die Agentenplattform jedoch nicht in diesen Geltungsbereich fällt.

Wie können Anbieter die tatsächlichen Kosten und den ROI nachweisen?

Anbieter belegen die tatsächlichen Kosten und den ROI, indem sie ein Modell der Gesamtbetriebskosten vorlegen, das Lizenzen, nutzungsabhängige Gebühren, Integration, Überwachung und Änderungsmanagement umfasst, zusammen mit einer Basismessung des Prozesses, den der Agent ersetzt. Ohne eine solche Basismessung ist jede ROI-Angabe lediglich eine Schätzung.

Achten Sie besonders auf nutzungsabhängige Preisgestaltung. Die Gesamtbetriebskosten eines KI-Agenten steigen oft mit jedem Anruf, jedem Token und jeder Tool-Aktion, sodass eine niedrige Rechnung aus der Pilotphase irreführend sein kann. Fragen Sie den Anbieter nach:

  • Ein Stückpreis pro abgeschlossener Aufgabe, nicht nur ein Preis pro Sitzplatz oder pro Wertmarke.
  • Kostenszenarien bei Ihrem erwarteten Volumen, bei dem dreifachen Volumen und bei Spitzenlast.
  • Eine Liste versteckter Kostenfaktoren, wie beispielsweise Umschulung, Überwachung, Prämienunterstützung und Datenausgang.
  • Bedingungen für die Preisgarantie, einschließlich Obergrenzen, gestaffelter Rabatte und Kündigungsfristen bei Preisänderungen.
  • Ein ROI-Modell mit konkret benannten Annahmen, die Sie überprüfen und mit Ihren eigenen Zahlen erneut ausführen können.

Eindeutige Belege für den ROI von KI-Agenten stellen einen Zusammenhang zwischen den Ausgaben und den geschäftlichen Ergebnissen her, wie beispielsweise eingesparte Bearbeitungszeit oder vermiedene Fehler. Wenn Ihr Unternehmen die Technologieausgaben bereits nach Service und Nutzen verwaltet, können Sie die Kosten für Agenten in dasselbe Rahmenwerk einordnen. Hier kommt die Portfoliodisziplin ins Spiel, und unsere Arbeit an strategisches Portfolio-Management zeigt, wie man solche Investitionen gegen andere Prioritäten abwägt.

Welche Referenzen und Nachweise über die bisherige Leistung sind glaubwürdig?

Glaubwürdige Referenzen stammen von Kunden mit ähnlichem Umfang, ähnlicher Datenkomplexität und ähnlichen regulatorischen Rahmenbedingungen, die Sie direkt kontaktieren können und die messbare Ergebnisse im Produktivbetrieb beschreiben. Seien Sie skeptisch gegenüber Logo-Wänden, anonymen Fallstudien und Referenzen, die sich auf Pilotprojekte beschränken, die nie vollständig umgesetzt wurden.

Verwenden Sie diese Prüfungen, um die Erfolgsbilanz zu überprüfen:

  • Bitten Sie um mindestens zwei aktuelle Referenzen die den Agenten seit sechs Monaten oder länger in der Produktion einsetzen.
  • Wenden Sie sich an den technischen Verantwortlichen, nicht nur den verantwortlichen Entscheidungsträger, um sich über die Integrationsbemühungen und die laufende Wartung zu informieren.
  • Frag, was schiefgelaufen ist während der Einführung und wie der Anbieter darauf reagiert hat.
  • Überprüfen Sie die finanzielle Stabilität des Anbieters, Produkt-Roadmap sowie die Größe der Support- und Entwicklungsteams.
  • Unabhängige Quellen prüfen, wie beispielsweise Analystenberichte und Peer-Review-Websites, wobei jedoch deren Grenzen zu beachten sind.

Ein Anbieter, der von seinem Produkt überzeugt ist, wird solche Gespräche zügig vereinbaren. Auch Verzögerungen oder stark vorformulierte Gespräche sagen einiges aus.

Wie sollten Einkäufer die Nachweise der Anbieter bewerten und miteinander vergleichen?

Käufer sollten die Nachweise der Anbieter anhand einer gewichteten Bewertungsmatrix bewerten, bei der jede Nachweiskategorie anhand vorab vereinbarter Kriterien bewertet wird, wobei für jeden Anbieter dieselbe Skala verwendet wird. Die Gewichtung spiegelt Ihre Prioritäten wider, und die Bewertung der Qualität der Nachweise – nicht nur der Behauptungen – sorgt dafür, dass der Vergleich fair und nachvollziehbar bleibt.

Ein praktischer Ansatz sieht folgendermaßen aus:

  1. Legen Sie zunächst die Kategorien und Gewichtungen fest. Beispielsweise Leistung, Sicherheit und Compliance, Kostentransparenz, Integrationsfähigkeit sowie Referenzen.
  2. Erläutern Sie, was die einzelnen Punktzahlen bedeuten. Eine hohe Bewertung setzt unabhängige oder reproduzierbare Belege voraus, eine mittlere Bewertung akzeptiert vom Anbieter angegebene Daten, und eine niedrige Bewertung spiegelt eine unbegründete Behauptung wider.
  3. Erzielt als funktionsübergreifende Gruppe Punkte. Beziehen Sie die IT-Abteilung, die Sicherheitsabteilung, die Finanzabteilung, die Beschaffungsabteilung und den Geschäftsinhaber mit ein, damit keine einzelne Sichtweise dominiert.
  4. Markiere Ausschlusskriterien separat. Eine Vereinbarung zur Verarbeitung fehlender Daten sollte den Prozess stoppen, ganz gleich, wie gut der Anbieter in anderen Bereichen abschneidet.
  5. Dokumentieren Sie die Argumentation. Eine schriftliche Aufzeichnung untermauert Ihre Entscheidung und dient als Grundlage für spätere Vertragsverhandlungen.

Diese Struktur sorgt dafür, dass die Bewertung von KI-Anbietern wiederholbar ist, sodass Sie sie bei jedem Kauf eines neuen Agenten erneut nutzen können.

Wie wir bei der Auswahl von Anbietern für KI-Agenten helfen

Wir helfen Ihnen dabei, Anbieterangaben in entscheidungsreife Fakten umzuwandeln. Unsere Berater bringen IT, Finanzen, Beschaffung und das operative Geschäft zusammen, sodass Sie KI-Agenten gemeinsam hinsichtlich Kosten, Nutzen und Risiken bewerten können, anstatt dies in getrennten Silos zu tun. Unser Ansatz im Bereich der Technologieausgaben hilft Ihnen dabei, zu prüfen, ob die von einem Agenten versprochenen Erträge auch im Produktionsmaßstab Bestand haben.

So unterstützen wir Sie:

  • Kostenmodellierung: Wir erstellen eine Übersicht über die Gesamtbetriebskosten, die nutzungsabhängige Gebühren berücksichtigt, sodass Sie die Kosten pro Aufgabe bereits vor Vertragsabschluss einsehen können.
  • Bewertungsbögen: Wir helfen Ihnen dabei, gewichtete Kriterien festzulegen und einen einheitlichen Vergleich zwischen den Anbietern durchzuführen.
  • Gestaltung der Unternehmensführung: Wir legen klare Zuständigkeiten und Entscheidungsbefugnisse fest, damit die Ausgaben der Agenten auch nach der Inbetriebnahme transparent und nachvollziehbar bleiben.
  • Wertverfolgung: Wir verknüpfen die Leistungen der Mitarbeiter mit den Geschäftsergebnissen, damit Sie aufzeigen können, welchen Nutzen jede Investition bringt.

Möchten Sie eine klare, fundierte Grundlage für Ihre nächste Entscheidung bezüglich eines KI-Agenten? Nehmen Sie Kontakt mit uns auf und wir helfen Ihnen dabei, die benötigten Nachweise zu strukturieren.

Sein Wert
Datenschutz-Übersicht

Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.