Beoordelingscriteria voor serviceproviders horen thuis in leverancierscontracten wanneer u ze nauwkeurig kunt definiëren, onafhankelijk kunt meten en kunt koppelen aan een consequentie. De sterkste contracten omvatten vier categorieën: taakuitvoering, kosten en gebruik, risico’s en naleving, en rapportage. Elk criterium vereist een formule, een referentiewaarde, een verantwoordelijke voor de meting en een corrigerende maatregel.
AI-agenten gedragen zich anders dan traditionele software. Hun output varieert, hun kosten zijn afhankelijk van het gebruik en hun kwaliteit verandert in de loop van de tijd. Dit artikel geeft antwoord op zes vragen die je helpen bij het opstellen van contractbepalingen die in de praktijk standhouden.
Hoe zet je prestatie-indicatoren van agenten om in afdwingbare SLA’s?
Je zet agentstatistieken om in afdwingbare SLA’s door voor elke statistiek een meetformule, een gegevensbron, een referentiewaarde, een streefwaarde en een consequentie bij het niet halen daarvan vast te leggen. Een statistiek zonder deze vijf elementen is een doelstelling, geen verbintenis, en een leverancier kan deze betwisten.
Begin bij het bedrijfsresultaat dat je nastreeft, niet bij de functies van het model. Als je betaalt voor afgehandelde supporttickets, stel de SLA dan op basis van de kwaliteit van de afhandeling op. Werk vervolgens terug naar de statistieken die dit aantonen.
Gebruik deze checklist voor elke statistiek die je opstelt:
- Definitie: wat als een succesvol voltooide taak wordt beschouwd, zo geformuleerd dat beide partijen het op dezelfde manier interpreteren.
- Testset: een representatieve steekproef van echte taken, die met een vaste frequentie wordt vernieuwd.
- Drempel: een minimumniveau, plus een streefniveau voor dienstjaren of bonussen.
- Meetvenster: maandelijks of per kwartaal, met regels voor uitschieters en storingen.
- Wijzigingsbeheer: een procedure voor het opnieuw valideren van statistieken wanneer de leverancier het onderliggende model bijwerkt.
Modelupdates verdienen speciale aandacht. Een leverancier kan het model achter de agent vervangen en het gedrag van de ene op de andere dag veranderen. Eis dat je vooraf op de hoogte wordt gesteld en dat er opnieuw wordt getest ten opzichte van je referentiepunt voordat een wijziging live gaat.
Welke prestatie-indicatoren moeten contractueel worden gegarandeerd?
Stel prestatie-indicatoren vast die de daadwerkelijke resultaten van taken weerspiegelen: het slagingspercentage van taken, de nauwkeurigheid of het foutenpercentage op basis van een vastgestelde testset, de latentie, de beschikbaarheid en het aantal escalaties naar menselijke medewerkers. Deze indicatoren geven aan of de agent zijn werk goed doet, en elk ervan kan worden getoetst aan een gedocumenteerde referentiewaarde.
Kies een klein aantal indicatoren. Vijf of zes duidelijk omschreven indicatoren zijn gemakkelijker te handhaven dan twintig vage.
- Succespercentage van taken: het percentage taken dat correct is uitgevoerd zonder dat er menselijke ingrepen nodig waren.
- Nauwkeurigheid en percentage hallucinaties: het percentage uitkomsten dat feitelijke onjuistheden of ongefundeerde beweringen bevat, beoordeeld aan de hand van een referentiedatum.
- Vertraging: de responstijd bij de mediaan en bij het 95e percentiel, aangezien gemiddelden trage uitschieters verhullen.
- Beschikbaarheid: de beschikbaarheid van de agent en van de daaraan gekoppelde tools en gegevensbronnen.
- Escalatie- en terugvalpercentage: hoe vaak de agent taken aan een mens overdraagt, en hoe goed hij zijn eigen grenzen herkent.
Geef geen garanties over algemene benchmarkscores. Openbare benchmarks komen zelden overeen met uw werkstromen. Evalueer op basis van uw eigen taken en spreek af hoe u die evaluatieset gaat samenstellen en bijwerken.
Hoe moeten kosten- en gebruiksstatistieken in contracten worden vastgelegd?
Neem kosten- en gebruiksstatistieken op in contracten door de factureringseenheid vast te leggen, een kostprijs per succesvolle taak vast te stellen, variabele kosten te maximeren en gedetailleerde gebruiksrapportages verplicht te stellen. Agenten verbruiken tokens, toolaanroepen en rekenkracht in onvoorspelbare hoeveelheden, dus de eenheidskosten beschermen u tegen onverwachte hoge rekeningen.
De kosten per taak zijn het meest bruikbare cijfer. Dit cijfer koppelt de uitgaven aan de resultaten en stelt je in staat leveranciers op gelijke voet met elkaar te vergelijken. Definieer het duidelijk: de totale kosten gedeeld door het aantal taken dat aan de succesdefinitie voldoet, niet door het aantal ondernomen taken. Anders betaal je voor mislukkingen.
Vermeld de volgende termen:
- Prijsberekening: per taak, per opgeloste kwestie, per token of per licentie, met een duidelijke uitleg over wat aanleiding geeft tot een kostenpost.
- Uitgavenlimieten en waarschuwingen: strikte limieten en meldingsdrempels voor uit de hand gelopen lussen of herhalingspogingen.
- Prijsgarantie: beperkingen op tariefverhogingen wanneer de leverancier van model of tariefklasse verandert.
- Transparantie inzake gebruik: gedetailleerde rapportage per agent, team en gebruiksscenario, in een formaat dat u in uw eigen kostengegevens kunt importeren.
- Opnieuw proberen en afhandeling bij mislukking: een regel die bepaalt dat mislukte of herhaalde oproepen niet tegen het volledige tarief in rekening worden gebracht.
Uitgaven voor AI vertonen dezelfde kenmerken als uitgaven voor de cloud: ze zijn gebruiksafhankelijk, veranderen snel en raken gemakkelijk uit het oog. Als u al een FinOps-aanpak, breid de toewijzings- en prognosemethoden uit naar het verbruik van de agenten, zodat uw contractvoorwaarden bijdragen aan een daadwerkelijk kostenbeheer.
Welke risico- en nalevingsindicatoren moeten in de overeenkomst worden opgenomen?
Risico- en nalevingsindicatoren in een agentencontract moeten betrekking hebben op gegevensverwerking, beveiligingsincidenten, beleidsschendingen, controleerbaarheid en tests op vooringenomenheid of veiligheid. Ze zetten algemene beloften over verantwoorde AI om in meetbare verplichtingen, met rapportageverplichtingen en sancties.
Behandel de volgende onderwerpen:
- Gegevensbescherming: waar gegevens worden verwerkt en opgeslagen, of uw gegevens worden gebruikt om de modellen van de leverancier te trainen, en de termijnen voor het bewaren en verwijderen ervan.
- Beveiligingsincidenten: meldingstermijnen, zoals het aantal uren vanaf de ontdekking, en de gegevens die de leverancier moet verstrekken.
- Overtredingen met betrekking tot vangrails: het percentage uitkomsten dat in strijd is met uw beleid inzake inhoud, bevoegdheden of handelingen, zoals een medewerker die een ongeoorloofde handeling verricht.
- Controleerbaarheid: logbestanden met prompts, toolaanroepen en beslissingen, die gedurende een overeengekomen periode worden bewaard en voor u toegankelijk zijn.
- Harmonisatie van regelgeving: verplichtingen die voortvloeien uit de regels die op u van toepassing zijn, waaronder de AVG en, indien van toepassing, de EU-AI-wet.
- Subverwerkers en modelaanbieders: informatieverstrekking door derden, met voorafgaande kennisgeving van wijzigingen.
Agenten moeten actie ondernemen, niet alleen reageren. Stel duidelijke grenzen vast voor wat er is toegestaan en eis van de leverancier dat hij elke handeling die buiten deze grenzen valt, meet en rapporteert.
Wie meet de statistieken en hoe worden deze gecontroleerd?
Vertrouw niet uitsluitend op de leverancier voor het meten van de prestatie-indicatoren van agents. Combineer de door de leverancier verstrekte rapportages met uw eigen telemetrie en periodieke onafhankelijke tests. In het contract moet worden vermeld welke gegevensbron als definitief geldt, moeten auditrechten worden toegekend en moet een geschillenprocedure worden vastgelegd voor het geval er tegenstrijdige cijfers zijn.
Een bruikbaar verificatiemodel bestaat uit drie lagen:
- Rapportage door leveranciers: standaarddashboards of rapporten die voldoen aan een overeengekomen indeling en definities van kengetallen.
- Meting aan de kant van de klant: uw eigen logbestanden, steekproefsgewijze beoordeling door mensen en geautomatiseerde evaluatieruns op uw testset.
- Onafhankelijke validatie: een periodieke externe of interne controle, met name na ingrijpende modelwijzigingen.
Spreek van tevoren af welke bron voorrang heeft als de cijfers elkaar tegenspreken. Veel teams gebruiken hun eigen telemetriegegevens als referentie voor facturering en prestatiestatistieken, en de logbestanden van de leverancier als referentie voor beveiligingsgebeurtenissen. Organiseer maandelijks of elk kwartaal een evaluatiebijeenkomst, zodat de statistieken leiden tot beslissingen en niet alleen maar tot rapporten. Dit zorgt er ook voor dat strategisch portefeuillebeheer de informatie die het nodig heeft om te beslissen welke beleggingen in agenten moeten worden uitgebreid, aangepast of stopgezet.
Welke maatregelen gelden er wanneer de prestatie-indicatoren van een agent niet worden gehaald?
Maatregelen bij het niet halen van prestatie-indicatoren voor agenten moeten stapsgewijs worden opgeschroefd: servicecredits bij kleine tekortkomingen, een plan met corrigerende maatregelen bij herhaalde tekortkomingen en het recht op beëindiging bij ernstige of aanhoudende tekortkomingen. Koppel elke maatregel aan een specifieke indicator en drempelwaarde, zodat de handhaving niet afhankelijk is van onderhandelingen.
Bouw een gestaffelde structuur:
- Servicecredits: een percentage van de vergoedingen dat wordt terugbetaald wanneer een indicator onder de drempelwaarde daalt, in verhouding tot de omvang van de afwijking.
- Plan voor corrigerende maatregelen: een verplichte schriftelijke correctie met deadlines na een herhaalde of ernstige tekortkoming.
- Verbeterd toezicht: frequentere rapportage of controle door mensen, op kosten van de leverancier, totdat de prestaties weer op peil zijn.
- Ontslag om gegronde redenen: het recht om zonder sancties uit te treden na herhaaldelijke tekortkomingen of een ernstige inbreuk op de naleving.
- Aansprakelijkheid voor schade: duidelijke voorwaarden voor schadevergoeding bij gegevenslekken of schadelijke handelingen van derden, in plaats van alleen maar tegoeden.
- Ondersteuning bij het afsluiten: gegevensoverdracht, logboekexport en ondersteuning bij de overstap, zodat u van leverancier kunt wisselen.
De vergoedingen alleen dekken zelden de werkelijke kosten van een mislukte agent. Zorg ervoor dat de aansprakelijkheidslimieten en uitsluitingen in de raamovereenkomst niet stilletjes de door u bedongen rechtsmiddelen tenietdoen.
Hoe wij helpen bij het opstellen van contractuele prestatie-indicatoren voor leveranciers van AI-agenten
Wij helpen u de contractvoorwaarden van uw makelaars te koppelen aan de financiële en waardegerelateerde gegevens die u al beheert. Onze consultants combineren expertise op het gebied van IT-financieel beheer, FinOps en portefeuillebeheer, zodat uw kengetallen worden gekoppeld aan kosten, resultaten en verantwoordingsplicht, in plaats van dat ze in een juridisch document blijven staan dat niemand leest.
Zo ondersteunen wij u:
- We berekenen de kosten per taak en de eenheidskosten voor agentdiensten, zodat u leveranciers kunt vergelijken en de waarde kunt bijhouden.
- Wij ontwikkelen het toewijzings- en rapportagemodel dat gebruiksgegevens van leveranciers omzet in bruikbare inzichten voor de financiële afdeling, IT en inkoop.
- We zetten een bestuursstructuur op, met duidelijke verantwoordelijken, evaluatietermijnen en beslissingsbevoegdheden, zodat u actie kunt ondernemen als er doelstellingen niet worden gehaald.
- Wij helpen u de contractvoorwaarden af te stemmen op uw werkwijze op het gebied van cloud- en technologie-uitgaven, waarbij we gebruikmaken van onze ervaring op het gebied van FinOps en Technology Business Management.
- Wij helpen u bij het afwegen van investeringen in agenten tegen de bredere prioriteiten van uw portefeuille.
Wilt u contractuele maatstaven die u kunt meten, controleren en afdwingen? Neem contact met ons op en we laten je zien hoe je ze kunt installeren.