Kopers moeten AI-leveranciers vergelijken op basis van de totale kosten van één voltooide en geaccepteerde taak, en niet op basis van symbolische prijzen of licentiekosten. Deel de totale kosten (gebruik, herhalingspogingen, integratie, beoordeling en ondersteuning) door het aantal taken dat aan uw kwaliteitsnorm voldoet. Pas dan zijn aanbiedingen met verschillende prijsmodellen onderling vergelijkbaar.
Een symbolisch tarief of een vergoeding per medewerker zegt weinig over wat je daadwerkelijk betaalt voor een voltooid resultaat. Mislukkingen, handmatige controles en platformkosten beïnvloeden het werkelijke bedrag, vaak aanzienlijk. In de onderstaande paragrafen lees je hoe je een taak definieert, de lastigste prijsmodellen herkent en een vergelijking opstelt waarop je financiële team kan vertrouwen.
Wat wordt beschouwd als een voltooide AI-taak?
Een voltooide AI-taak is een werkeenheid die een overeengekomen eindtoestand bereikt en aan je acceptatiecriteria voldoet zonder dat er verdere handmatige correcties nodig zijn. Een opgesteld antwoord dat een medewerker moet herschrijven, is niet voltooid. Een opgelost supportticket dat gesloten blijft, is dat wel.
Bepaal wat je onder “voltooiing” verstaat voordat je een leverancier om een prijs vraagt. Leveranciers tellen vaak een “actie”, een “run” of een ‘gesprek’ mee, en elk van deze begrippen kan onvoltooid of afgewezen werk omvatten. Schrijf je eigen definitie op en toets elke offerte hieraan.
Een bruikbare definitie bestaat uit drie delen:
- Een duidelijk begin en einde: wat de taak in gang zet en welke uitvoer deze afsluit.
- Een acceptatietest: wie of wat het resultaat controleert, en wat de drempel is voor “goed genoeg”.”
- Een duurzaamheidsvenster: hoe lang het resultaat geldig moet blijven, bijvoorbeeld een ticket dat niet binnen zeven dagen opnieuw wordt geopend.
Verschillende workflows vereisen verschillende definities. Een documentsamenvatting, een codewijziging en een beslissing over een claim hebben elk hun eigen kwaliteitsnorm, dus je moet leveranciers telkens binnen één taaktype met elkaar vergelijken.
Welke prijsmodellen voor AI zijn het moeilijkst te vergelijken?
Prijsmodellen op basis van tokens, per werkplek en op basis van resultaten zijn het moeilijkst te vergelijken, omdat ze elk iets anders meten. Tokens meten het in- en uitvoervolume, werkplekken meten de toegang en resultaatgerichte prijsmodellen meten de resultaten. Geen van deze modellen kan zonder aanvullende aannames rechtstreeks worden gekoppeld aan een voltooide taak.
Dit is de reden waarom de verschillende modellen zich niet zomaar laten vergelijken:
- Prijsstelling van tokens: De prijs per token lijkt precies vast te liggen, maar het aantal tokens dat een taak verbruikt, hangt af van de lengte van de prompt, de omvang van de context, de keuze van het model en de redeneringsstappen van de agent. Twee aanbieders met hetzelfde tokentarief kunnen sterk van elkaar verschillen wat betreft de kosten per taak.
- Prijzen voor losse tickets of abonnementen: Een vast bedrag verhult gebruikslimieten, limieten voor redelijk gebruik en kosten voor overschrijding. Uw kosten per taak dalen naarmate het volume toeneemt en stijgen wanneer het gebruik laag blijft.
- Krediet- of actiebundels: Verkopers zetten activiteiten om in credits tegen tarieven die per functie verschillen. Eén taak kan meerdere credits kosten.
- Resultaatgerichte prijsstelling: Je betaalt per opgeloste zaak of geaccepteerd resultaat, wat eenvoudig klinkt. De valkuil zit hem in de manier waarop de leverancier succes definieert, en in wat er gebeurt met de mislukkingen die zij voor hun rekening nemen.
Zet alle modellen om naar dezelfde eenheid – de kosten per geaccepteerde taak – voordat je ze met elkaar vergelijkt. Alles wat je niet kunt omrekenen, vormt een risico bij het vaststellen van de prijs.
Hoe beïnvloeden mislukte en opnieuw uitgevoerde taken de werkelijke kosten?
Mislukte en opnieuw geprobeerde taken verhogen uw werkelijke kosten per voltooide taak, omdat u voor elke poging betaalt, niet alleen voor de geslaagde. Als een medewerker drie pogingen nodig heeft om één geaccepteerd resultaat te leveren, bedragen uw effectieve kosten ongeveer de kosten van drie pogingen, plus de tijd die nodig is voor de controle.
Met wat eenvoudige rekensom kun je dit goed zien: de effectieve kosten per voltooide taak zijn gelijk aan de totale kosten van alle pogingen, gedeeld door het aantal geaccepteerde resultaten. Een laag slagingspercentage zorgt ervoor dat een lage prijs per poging toch tot een duur eindresultaat leidt.
Drie factoren zorgen voor hogere kosten:
- Herhalingen: automatische herhalingspogingen waarbij elke keer tokens of credits worden verbruikt.
- Escalaties: taken die de agent opgeeft en aan een mens overdraagt, wat betekent dat je zowel voor de mislukte AI-poging als voor het menselijke werk betaalt.
- Verborgen fouten: resultaten die er op het eerste gezicht voltooid uitzien, maar later toch mislukken, wat tot extra werk leidt en soms gevolgen heeft voor de klant.
Vraag elke leverancier naar de slagingspercentages voor taken die vergelijkbaar zijn met die van u, en voer zelf een proefproject uit om deze te verifiëren. Beschouw de benchmarks van leveranciers als een uitgangspunt, aangezien uw gegevens en uitzonderingsgevallen zich anders zullen gedragen.
Welke verborgen kosten moeten bij de prijs per opdracht worden opgeteld?
Verborgen kosten zijn onder meer handmatige controle, integratie en gegevensvoorbereiding, monitoring, beveiliging en nalevingswerkzaamheden, evenals de platform- of infrastructuurkosten die samenhangen met het model zelf. Tel deze kosten op bij de catalogusprijs van de leverancier om de werkelijke totale eigendomskosten van AI te berekenen.
Loop deze checklist voor elke aanbieding eens door:
- Menselijke tussenkomst: de tijd die wordt besteed aan het controleren, goedkeuren of corrigeren van output.
- Integratie en installatie: systemen koppelen, gegevens opschonen en prompts of workflows opzetten.
- Observeerbaarheid en evaluatie: gereedschap en personeelstijd om de kwaliteit en afwijkingen te bewaken.
- Bestuur: beveiligingsbeoordelingen, juridische controles en auditvereisten.
- Uitgaven voor clouddiensten in de regio: opslag, vector-databases, orkestratie en netwerkkosten die meegroeien met het gebruik.
- Verandering en opleiding: ervoor zorgen dat teams de tool zo goed gebruiken dat het beloofde volume wordt gehaald.
Verdeel eenmalige kosten over het verwachte werkvolume en terugkerende kosten over de periode waarop ze betrekking hebben. Zo voorkom je dat een leverancier met lage gebruiksvergoedingen maar hoge installatiekosten goedkoper lijkt dan hij in werkelijkheid is.
Hoe kunnen kopers een eerlijke vergelijking maken van de kosten per taak?
Zorg voor een eerlijke vergelijking door elke leverancier dezelfde reeks echte taken te laten uitvoeren, één gemeenschappelijke definitie van voltooiing toe te passen en de totale kosten per geaccepteerde taak te berekenen. Door identieke inputgegevens en identieke acceptatiecriteria te gebruiken, wordt het grootste deel van de vertekening die prijsmodellen veroorzaken, weggenomen.
Volg deze stappen:
- Kies een representatieve steekproef van taken. Neem eenvoudige, typische en moeilijke gevallen op in realistische verhoudingen.
- Stel de acceptatiecriteria vast. Gebruik voor elke leverancier dezelfde beoordelaars en dezelfde beoordelingsrubriek.
- Noteer al het verbruik. Registreer tokens, credits, herpogingen, escalaties en de duur van evaluaties per taak.
- Reken de verborgen kosten erbij. Inclusief opzet, hulpmiddelen en beheer, toegewezen per taak.
- Bereken de kosten per geaccepteerde taak. De totale kosten delen door het aantal resultaten dat de beoordeling heeft doorstaan.
- Test op volume. Maak een schatting van uw verwachte maandelijkse volume, aangezien de prijzen per licentie en per bundel veranderen naarmate het gebruik toeneemt.
- Benadruk de aannames. Voer de berekeningen opnieuw uit met lagere slagingspercentages en een hoger tokengebruik om te zien hoe gevoelig elke aanbieding is.
Vergelijk het uiteindelijke bereik, niet één enkel getal. Een leverancier met een iets hoger gemiddelde maar veel voorspelbaardere kosten is wellicht beter geschikt voor u dan een leverancier wiens kosten bij elke kleine wijziging sterk schommelen.
Hoe kunnen financiële en IT-teams de kosten van AI-taken binnen de perken houden?
Financiële en IT-teams houden de kosten van AI-taken onder controle door afspraken te maken over gedeelde verantwoordelijkheid, de kosten per taak als vaste maatstaf bij te houden en deze op regelmatige basis te evalueren. Zonder duidelijke verantwoordelijken en een vast besluitvormingsritme stijgen de AI-uitgaven sneller dan de waarde die ze opleveren.
Dezelfde problemen die zich voordoen bij uitgaven voor de cloud, doen zich ook voor bij AI: de teams die het gebruik aansturen, krijgen de rekening zelden te zien, rapportages geven een beeld van de uitgaven zonder dat daar beslissingen op worden gebaseerd, en de afdelingen Financiën, IT en Engineering optimaliseren vanuit verschillende invalshoeken. Onze FinOps-aanpak pakt precies deze hiaten aan, en de principes zijn ook van toepassing op AI-workloads.
Voer de volgende maatregelen in:
- AI-gebruik labelen en toewijzen aan de teams, producten en gebruiksscenario’s die deze gegevens genereren.
- Stel streefwaarden voor de eenheidskosten vast per taaktype en een waarschuwing geven wanneer de werkelijke kosten daarvan afwijken.
- Voer een periodieke evaluatie uit waarbij de financiële afdeling, de IT-afdeling en de bedrijfsleiding bepalen wat er moet worden geoptimaliseerd, opgeschaald of stopgezet.
- Weeg de kosten af tegen de prestaties en het risico, Dus goedkopere modellen betekenen niet automatisch een lagere kwaliteit.
- Koppel AI-investeringen aan resultaten binnen je bredere strategisch portefeuillebeheer, zodat elk initiatief zijn plaats verdient.
Automatiseer de toewijzing en rapportage waar dat mogelijk is. Handmatige spreadsheets werken niet meer zodra meerdere teams meerdere agents op verschillende modellen inzetten.
Hoe FinOps helpt bij het bepalen van de AI-kosten per taak
Uitgaven voor AI vertonen hetzelfde patroon als uitgaven voor de cloud: ze zijn gebruiksafhankelijk, veranderen snel en vereisen een verantwoordelijke partij om in bedrijfswaarde te worden omgezet. Wij helpen u bij het toepassen van FinOps- en Technology Business Management (TBM)-praktijken op AI, zodat u kunt zien, vergelijken en sturen wat elke voltooide taak kost.
Sinds 2009 helpen wij organisaties om IT, bedrijfsvoering en financiën op elkaar af te stemmen. Dit is wat dat betekent voor uw AI-kostenvergelijking:
- Een FinOps-bedrijfsmodel waarin het beheer, de rollen en de beslissingsbevoegdheden met betrekking tot AI- en clouduitgaven worden vastgelegd.
- Betrouwbare kostengegevens en toewijzing, zodat je weet welk team en welke use case achter elke euro schuilgaat.
- Eenheidskosten die als basis dienen voor besluitvorming, waaronder de kosten per resultaat, waarop zowel de financiële afdeling als de IT-afdeling vertrouwen.
- TBM-integratie die de uitgaven voor technologie koppelt aan diensten, producten en bedrijfsresultaten.
- Flexibele ondersteuning, van een beoordeling van uw huidige ontwikkelingsniveau tot FinOps as a Service en op rollen gebaseerde trainingen.
Onze klanten hebben tot wel 30% bespaard op hun clouduitgaven, en we passen dezelfde pragmatische, waardegedreven aanpak toe op AI-kosten. Als u op zoek bent naar een eerlijke, onderbouwde manier om AI-leveranciers te vergelijken, neem contact met ons op en wij helpen je ermee.