Hoe moeten financiële, technische en AI-teams de verantwoordelijkheid voor AI-uitgaven onderling verdelen?

Financiële, technische en AI-teams moeten de verantwoordelijkheid voor AI-uitgaven delen via een model waarbij de technische afdeling verantwoordelijk is voor beslissingen over het gebruik, de financiële afdeling voor het begrotingsbeheer en de AI- of datawetenschapsteams voor de efficiëntie van de werklast. Geen enkel team kan de AI-kosten op zichzelf effectief beheren, omdat AI-workloads een combinatie vormen van infrastructuurverbruik, experimentele risico’s en bedrijfswaarde, wat een functieoverschrijdende afweging vereist. De onderstaande vragen lichten toe hoe die gedeelde verantwoordelijkheid in de praktijk werkt.

Wie is er tegenwoordig in de meeste organisaties verantwoordelijk voor de uitgaven op het gebied van AI?

In de meeste organisaties is er tegenwoordig geen duidelijke verantwoordelijke voor de uitgaven aan AI. Technische teams zorgen voor de rekenkracht en opslagruimte die de kosten opdrijven, financiële teams ontvangen de facturen en AI- of data science-teams nemen de beslissingen die bepalen hoeveel er wordt verbruikt. Het gevolg is een situatie waarin iedereen betrokken is, maar niemand verantwoordelijk is.

Dit doet denken aan de beginperiode van de cloudtransitie, toen hetzelfde structurele probleem de kop opstak: applicatieteams bepaalden de uitgaven, maar IT en de financiële afdeling moesten de financiële gevolgen dragen. Bij AI-workloads is de kloof nog groter, omdat de kostenfactoren minder voorspelbaar zijn. Het trainen van een groot model of het uitvoeren van inferentie op grote schaal kan binnen enkele uren aanzienlijke kosten genereren, en die kosten zijn vaak onzichtbaar voor de financiële afdeling totdat de rekening binnenkomt.

Het praktische gevolg hiervan is dat AI-budgetten doorgaans reactief worden beheerd. Teams vragen middelen aan, de kosten lopen op en de financiële afdeling grijpt pas in wanneer de uitgaven een bepaalde drempel overschrijden. Dit is geen financieel beheer. Het is kostenbeheersing achteraf, en dit leidt steevast tot wrijving tussen teams in plaats van tot een gezamenlijk begrip.

Wat is een model voor gedeelde verantwoordelijkheid voor AI-kosten?

Een model voor gedeelde verantwoordelijkheid voor AI-kosten is een bestuursstructuur waarin aan elk team duidelijke financiële verantwoordelijkheden worden toegewezen op basis van de bevoegdheden die het team heeft. De engineeringafdeling is verantwoordelijk voor de beslissingen die het verbruik van middelen beïnvloeden. De financiële afdeling is verantwoordelijk voor het begrotingskader, de prognoses en de rapportage. AI- en data science-teams zijn verantwoordelijk voor de efficiëntie van de werklast en de afwegingen tussen kosten en prestaties binnen hun experimenten en productiesystemen.

Gedeelde verantwoordelijkheid betekent niet dat er ook gedeelde verwarring is. Elke functie heeft een eigen rol:

• Technische teams bronnen correct labelen, de juiste instantietypen kiezen en de levenscyclus van rekenkracht beheren, inclusief het afsluiten van inactieve trainingsopdrachten.
• Financiële teams budgetgrenzen vaststellen, goedkeuringsdrempels voor nieuwe AI-initiatieven definiëren en gegevens over cloudgebruik omzetten in bedrijfsrelevante rapportages.
• AI- en datawetenschapsteams kostenbewuste architectuurbeslissingen nemen, de benodigde middelen inschatten voordat experimenten van start gaan, en aangeven wanneer workloads zich in onverwachte richtingen ontwikkelen.
• Bedrijfs- of producteigenaren de uitgaven voor AI koppelen aan bedrijfsresultaten en helpen bij het stellen van prioriteiten voor de experimenten die een investering verdienen.

Het model werkt alleen als deze rollen formeel zijn vastgelegd, en niet alleen worden verondersteld. Organisaties die verantwoording impliciet laten, merken vaak dat elk team bij gebrek aan duidelijkheid de neiging heeft om zich te richten op het optimaliseren van zijn eigen prioriteiten, wat leidt tot suboptimale afwegingen en terugkerende begrotingsgeschillen.

Hoe wordt FinOps toegepast op AI- en machine learning-workloads?

FinOps is van toepassing op AI- en machine learning-workloads door de kerndiscipline van kostenbewuste besluitvorming uit te breiden naar de specifieke patronen van AI-infrastructuur. Het FinOps-raamwerk is opgebouwd rond het principe dat beslissingen over clouduitgaven moeten worden genomen door mensen die zowel de kosten als de bedrijfswaarde begrijpen. Dat principe is rechtstreeks van toepassing op AI-workloads, waar de verhouding tussen kosten en waarde complex is en snel verandert.

Wat AI en ML in het bijzonder betreft, FinOps-werkwijzen verschillende specifieke kostenpatronen aanpakken die bij algemeen cloudkostenbeheer niet goed worden aangepakt:

• Trainingsrondjes leiden tot pieken in de rekenkosten die moeilijk te voorspellen zijn zonder modelspecifieke kennis.
• Conclusies trekken op grote schaal leidt tot doorlopende, gebruiksafhankelijke kosten die een voortdurende aanpassing van de capaciteit en planning van de inzet vereisen.
• Experimenteren levert een groot aantal kortstondige workloads op die gemakkelijk uit het oog te verliezen zijn en waarvan het duur is om ze te laten draaien.
• Kosten voor gegevensopslag en verwerking ze stapelen zich stilletjes op naast de rekenkosten en worden vaak buiten beschouwing gelaten in discussies over de kosten van AI.

FinOps voor AI houdt in dat er een vast ritme, een governance-raamwerk en de juiste tools worden opgezet om deze kostenpatronen inzichtelijk te maken en deze te koppelen aan zakelijke beslissingen voordat er uitgaven worden vastgelegd, in plaats van daarna. Het betekent ook dat er een ritme wordt gecreëerd waarin financiële, technische en AI-teams de AI-uitgaven regelmatig gezamenlijk evalueren, in plaats van alleen wanneer er iets misgaat.

Welke uitdagingen op het gebied van kostenallocatie zijn specifiek voor AI-workloads?

De uitdagingen op het gebied van kostenverdeling die specifiek zijn voor AI-workloads vloeien voort uit de manier waarop AI-infrastructuur wordt gebruikt. In tegenstelling tot traditionele applicaties, waarbij kosten relatief duidelijk aan diensten of teams kunnen worden toegewezen, maken AI-workloads gebruik van gedeelde rekenclusters, hergebruiken ze datasets in verschillende projecten en genereren ze kosten die moeilijk aan één specifiek bedrijfsresultaat of één specifieke verantwoordelijke kunnen worden toegeschreven.

De meest voorkomende toewijzingsproblemen zijn onder meer:

• Clusters met gedeelde GPU’s die door meerdere teams tegelijk wordt gebruikt, waarbij de kosten per taak moeilijk te onderscheiden zijn zonder gedetailleerde tagging en meting.
• Overhead van experimenten waarbij mislukte of afgebroken testruns nog steeds daadwerkelijke kosten met zich meebrengen die zelden aan een team of project worden toegerekend.
• Gebruik van basismodellen waarbij de API-kosten voor modellen van derden, zoals die van grote AI-aanbieders, door meerdere applicaties en teams worden gebruikt, maar centraal worden gefactureerd.
• Kosten van de datapijplijn die AI-workloads ondersteunen maar onder afzonderlijke infrastructuuraccounts vallen, waardoor het moeilijk is om de totale AI-kosten te berekenen.

Om deze uitdagingen aan te pakken, is een taggingstrategie nodig die specifiek is ontworpen voor AI-workloads, met tags die het team, het project, het experiment-ID en het zakelijke doel van elke taak weergeven. Zonder die structuur zijn er weliswaar kostengegevens beschikbaar, maar kan er geen verantwoording worden afgelegd – en dat is precies het patroon dat het beheer van AI-uitgaven ineffectief maakt.

Welk team moet de begrotingen voor AI-experimenten goedkeuren?

Budgetten voor AI-experimenten moeten gezamenlijk worden goedgekeurd door de teamleider van het AI- of data science-team en een vertegenwoordiger van de financiële afdeling of de IT-financiële afdeling, waarbij de technische afdeling meedenkt over de ramingen van de benodigde middelen. Het AI-team heeft inzicht in de wetenschappelijke onderbouwing en de verwachte rekenkrachtbehoeften. De financiële afdeling zorgt ervoor dat het experiment binnen het bredere budgetkader past. De technische afdeling controleert of het middelenplan realistisch is.

Dit hoeft geen traag of bureaucratisch proces te zijn. Organisaties die hier goed mee omgaan, hanteren doorgaans een gedifferentieerd goedkeuringssysteem. Kleine experimenten die onder een vastgesteld kostenplafond blijven, kunnen door de teamleider zelf worden goedgekeurd. Voor middelgrote experimenten is goedkeuring door de financiële afdeling vereist. Voor grote of open-ended trainingsrondes is een formele businesscase nodig waarin de verwachte resultaten in verband worden gebracht met de investering.

Het belangrijkste uitgangspunt is dat goedkeuring geen eenmalige stap is. In de budgetten voor experimenten moet een controlemechanisme zijn ingebouwd, zodat er – mocht een testrun meer kosten dan verwacht – een duidelijke procedure is waarmee het team de omvang kan aanpassen of de kwestie kan escaleren voor aanvullende goedkeuring. Zo blijft de financiële afdeling op de hoogte, zonder dat er wrijving ontstaat die legitiem AI-werk vertraagt.

Hoe kunnen organisaties een functieoverschrijdend beheer van AI-uitgaven opzetten?

Organisaties kunnen een functieoverschrijdend beheer van AI-uitgaven opzetten door een terugkerend bedrijfsmodel in te voeren dat de financiële, technische en AI-teams met elkaar verbindt op basis van gedeelde gegevens, gezamenlijke beslissingen en gedeelde verantwoordelijkheid. Beheer is geen beleidsdocument. Het is een reeks werkwijzen die teams consequent volgen, ondersteund door hulpmiddelen die kostengegevens voor alle drie de functies toegankelijk en bruikbaar maken.

De praktische stappen om dit bestuurskader op te zetten zijn onder meer:

1. Leg het eigendomsrecht expliciet vast. Stel een FinOps-verantwoordelijke of AI-kostenverantwoordelijke aan die de coördinatie tussen de teams verzorgt en ervoor zorgt dat de uitgavencontroles volgens schema plaatsvinden.
2. Zorg voor een vast ritme. Maandelijkse of tweewekelijkse evaluaties waarbij de financiële, technische en AI-teams dezelfde kostengegevens bekijken en gezamenlijk beslissingen nemen. Dit vervangt ad-hocgesprekken door een gestructureerd ritme.
3. Stel een gezamenlijke taxonomie op. Maak afspraken over de manier waarop AI-workloads worden ingedeeld, gelabeld en gerapporteerd, zodat iedereen werkt op basis van consistente gegevens in plaats van afzonderlijke weergaven van dezelfde infrastructuur.
4. Leg de beslissingsbevoegdheden duidelijk vast. Leg vast wie wat mag goedkeuren, bij welke kostengrens, en hoe de escalatie verloopt wanneer de uitgaven afwijken van het plan.
5. Koppel AI-uitgaven aan bedrijfswaarde. Een bestuurssysteem dat alleen de kosten bijhoudt zonder deze te koppelen aan resultaten, verliest snel aan geloofwaardigheid. Voor elk AI-initiatief moet er een duidelijk omschreven waardeverwachting zijn, zodat de financiële afdeling en de verantwoordelijken binnen de organisatie deze naast de uitgaven kunnen volgen.

A Beoordeling van de FinOps-rijpheid is een nuttig uitgangspunt voor organisaties die willen achterhalen waar hun huidige werkwijzen tekortschieten, voordat ze een bestuursmodel ontwerpen. Het brengt tekortkomingen aan het licht op het gebied van personeel, processen, hulpmiddelen en gegevenskwaliteit die anders de bestuursstructuur zouden ondermijnen nog voordat deze is ingevoerd.

Hoe wij u helpen bij het beheren van AI-uitgaven op het gebied van financiën en engineering

Wij helpen organisaties de overstap te maken van reactief AI-kostenbeheer naar gestructureerd, functieoverschrijdend beheer, waarbij financiële, technische en AI-teams worden verbonden door middel van gedeelde verantwoordelijkheid. Onze aanpak is praktisch en is afgestemd op de specifieke dynamiek van AI- en clouduitgaven binnen grote organisaties.

Als je bij ons komt werken, kun je het volgende verwachten:

• Een duidelijk verantwoordelijkheidsmodel waarin wordt vastgelegd wie waarvoor verantwoordelijk is, zonder dat dit leidt tot bureaucratische wrijving die AI-teams vertraagt
• Een bestuursmodel dat besluitvormingsbevoegdheden, goedkeuringsdrempels en de frequentie van evaluaties regelt voor budgetten voor AI-experimenten en productiewerkzaamheden
• Tagging- en toewijzingskaders die zijn ontwikkeld voor AI-infrastructuur, waaronder gedeelde GPU-clusters, kosten voor API’s van modellen van derden en uitgaven voor datapijplijnen
• Integratie tussen uw AI-kostengegevens en het bredere financiële IT-beheer via FinOps-tools waardoor de financiële en technische afdelingen één gezamenlijk, betrouwbaar overzicht krijgen
• Opleidingen voor financiële, technische en AI-teams, zodat kostenbewuste besluitvorming een gedeelde vaardigheid wordt in plaats van een gespecialiseerde functie

Als je een model voor het beheer van AI-uitgaven wilt opzetten dat daadwerkelijk in al je teams werkt, neem contact met ons op om te bespreken waar we moeten beginnen.