Verborgen kosten voor data en infrastructuur kunnen de zichtbare kosten van AI gemakkelijk verdubbelen of verdrievoudigen. De meeste organisaties reserveren budget voor modellicenties of cloudcomputing, maar de werkelijke kosten stapelen zich op in de onderliggende lagen: datapijplijnen, opslag, voorbewerking, voortdurende hertraining en de overheadkosten voor governance die ervoor zorgen dat alles blijft draaien. Voor IT-leiders binnen ondernemingen is inzicht in waar deze kosten daadwerkelijk zitten de eerste stap om ze onder controle te krijgen.
Welke infrastructuurkosten gaan schuil achter AI-workloads?
De verborgen infrastructuurkosten binnen AI-workloads omvatten het inrichten van GPU’s en versnelde rekenkracht, opslag met hoge doorvoercapaciteit voor trainingsdatasets, netwerken met lage latentie tussen rekenknooppunten, pijplijnen voor gegevensopname, monitoring- en observabiliteitstools, en de orkestratielagen die dit alles coördineren. Deze componenten komen zelden voor in de begroting van een AI-project, maar zijn steevast verantwoordelijk voor het grootste deel van de daadwerkelijke uitgaven.
Wanneer organisaties AI implementeren, zijn de zichtbare kosten meestal die van het model zelf, of het nu gaat om kosten voor een commerciële API, een basismodel onder licentie of een zelfgehost open-source-alternatief. Wat onzichtbaar blijft totdat de rekening binnenkomt, is de bijbehorende infrastructuur. Versnelde rekenkracht, met name GPU-clusters, is duur om in te richten en nog duurder om ongebruikt te laten staan. AI-workloads staan erom bekend dat ze pieken vertonen: ze vereisen piekcapaciteit tijdens trainingsruns en blijven vervolgens onderbenut tussen experimenten door.
Naast rekenkracht stellen AI-workloads ook bijzondere eisen aan opslag en netwerken. Voor het trainen van een groot model is snelle toegang tot enorme datasets nodig, wat betekent dat er hoogwaardige objectopslag of gedistribueerde bestandssystemen nodig zijn in plaats van standaard cloudopslaglagen. Het verplaatsen van gegevens tussen opslag en rekenkracht leidt tot aanzienlijke uitgaande kosten die in de planningsfase gemakkelijk over het hoofd worden gezien.
Monitoring en observeerbaarheid vormen een extra laag. AI-systemen vereisen een voortdurende monitoring van de modelprestaties, datadrift en de status van de infrastructuur. De tools hiervoor zijn niet gratis, en de ontwikkelingstijd die nodig is om ze te configureren en te onderhouden is aanzienlijk. Al met al maken deze infrastructuurcomponenten vaak meer dan de helft uit van de totale kosten voor het draaien van een AI-workload in productie.
Waarom is gegevensvoorbereiding zo duur bij AI-projecten?
Het voorbereiden van gegevens is kostbaar voor AI-projecten omdat het arbeidsintensief en technisch complex is, en nooit echt af is. Het opschonen, labelen, transformeren en valideren van gegevens tot een standaard die geschikt is voor het trainen van modellen neemt volgens algemene ervaringen in de sector doorgaans 60 tot 80 procent van de totale projecttijd in beslag. De benodigde rekenkracht, opslagruimte en menselijke inspanning brengen allemaal directe financiële kosten met zich mee.
Ruwe bedrijfsgegevens zijn zelden direct geschikt voor AI. Ze komen uit verschillende bronsystemen in inconsistente formaten, bevatten duplicaten en ontbrekende waarden, en weerspiegelen bedrijfslogica die in de loop van de tijd is veranderd. Voordat een model hiervan kan leren, moeten data-engineers pijplijnen bouwen om de gegevens te extraheren, op te schonen en te normaliseren. Die pijplijnen vereisen rekenkracht om te draaien en opslagruimte om tussentijdse outputs in elke transformatiefase op te slaan.
Het labelen vormt een extra belangrijke kostenfactor, met name bij taken op het gebied van begeleid leren. Of het labelen nu door interne teams of door externe annotatiediensten wordt uitgevoerd, de kosten nemen recht evenredig toe met de omvang van de dataset. Voor gespecialiseerde domeinen zoals de gezondheidszorg, de juridische sector of de financiële dienstverlening brengt het labelen door deskundigen hoge kosten met zich mee, die de kosten van de rekenkracht die voor het trainen wordt gebruikt, in de schaduw kunnen stellen.
Het voorbereiden van gegevens is bovendien geen eenmalige activiteit. Naarmate bronsystemen veranderen, bedrijfsdefinities evolueren en de prestaties van modellen in de loop van de tijd achteruitgaan, moeten pijplijnen worden bijgewerkt en datasets opnieuw worden opgebouwd. Deze doorlopende onderhoudskosten worden vrijwel nooit meegenomen in het oorspronkelijke projectbudget, wat een van de redenen is waarom AI-projecten steevast hun oorspronkelijke kostenramingen overschrijden.
In hoeverre dragen het trainen en hertrainen van modellen op termijn bij aan de kosten van AI?
Het trainen en hertrainen van modellen drijft de AI-kosten in de loop van de tijd op, omdat het geen eenmalige gebeurtenissen zijn, maar terugkerende operationele activiteiten. Elke hertrainingscyclus kost rekenkracht, opslagruimte en tijd van de technici. Naarmate de gegevensvolumes toenemen en modellen complexer worden, stijgen de kosten per trainingscyclus, en de frequentie waarmee hertraining nodig is om acceptabele modelprestaties te behouden, neemt doorgaans mee toe.
De initiële training is de kostenpost waarmee de meeste organisaties rekening houden. Herscholing is de kostenpost die hen verrast. Modellen verliezen aan kwaliteit naarmate de praktijkgegevens waarmee ze worden geconfronteerd, afwijken van de gegevens waarop ze zijn getraind. Een model voor fraudedetectie dat is getraind op de transactiepatronen van vorig jaar, zal minder nauwkeurig worden naarmate fraudetactieken zich verder ontwikkelen. Een model voor vraagprognoses moet worden bijgewerkt naarmate de marktomstandigheden veranderen. Hertraining is geen optie; het is de operationele realiteit om AI bruikbaar te houden.
De rekenkosten voor het opnieuw trainen zijn evenredig met de omvang van het model en het volume van de dataset. Het finetunen van een groot taalmodel op eigen bedrijfsgegevens kan GPU-uren vergen die evenveel kosten als de oorspronkelijke trainingsrun, en organisaties komen er vaak achter dat ze vaker dan verwacht opnieuw moeten trainen. Het bijhouden van experimenten, het beheren van modelversies en de infrastructuur om kandidaatmodellen te vergelijken met productiebaselines zorgen voor extra overhead.
De ontwikkelingstijd is de minder zichtbare dimensie. Datawetenschappers en ML-engineers moeten de prestaties van modellen in de gaten houden, bepalen wanneer hertraining nodig is, de hertrainingspijplijn beheren, de resultaten valideren en de implementatie coördineren. Deze doorlopende operationele werkzaamheden vormen terugkerende kosten die moeten worden meegenomen in de berekening van de totale eigendomskosten, en niet alleen in het initiële projectbudget.
Wat is het verschil tussen de projectkosten van AI en de totale eigendomskosten van AI?
De kosten van een AI-project omvatten de eenmalige investering voor het bouwen en implementeren van een model: ontwikkeling, initiële infrastructuur en lancering. De totale eigendomskosten (TCO) van AI omvatten alle doorlopende kosten gedurende de volledige levensduur van het systeem: hertraining, monitoring, schaalbaarheid van de infrastructuur, onderhoud van de datapijplijn, governance, naleving van regelgeving en de technische capaciteit die nodig is om het systeem goed te laten functioneren. De TCO is doorgaans meerdere malen hoger dan de projectkosten.
Het verschil tussen deze twee cijfers is waar de meeste AI-budgetten in het honderd lopen. Een projectbudget geeft antwoord op de vraag: wat kost het om dit te bouwen? De TCO geeft antwoord op de vraag: wat kost het om dit gedurende twee, drie of vijf jaar betrouwbaar te laten draaien? Bij AI voor grote ondernemingen neemt de operationele fase bijna altijd het grootste deel van de totale uitgaven voor zijn rekening.
Er zijn verschillende kostencategorieën die doorgaans niet in projectbegrotingen worden opgenomen, maar wel deel uitmaken van TCO-berekeningen:
- Lopende kosten voor rekenkracht voor grootschalige inferentie, die meegroeien naarmate het gebruik toeneemt
- Onderhoud van de datapijplijn naarmate bronsystemen veranderen en nieuwe gegevensbronnen worden geïntegreerd
- Modelmonitoring en driftdetectie om prestatieverlies op te sporen voordat dit gevolgen heeft voor de bedrijfsresultaten
- Omscholingscycli veroorzaakt door gegevensverschuivingen, wijzigingen in de regelgeving of productontwikkeling
- Overheadkosten voor naleving en bestuur, wat steeds meer het geval is naarmate de regelgeving op het gebied van AI verder wordt uitgewerkt
- Beveiliging en toegangscontrole voor gevoelige trainingsgegevens en modelresultaten
Inzicht in de TCO is belangrijk omdat dit de investeringsbeslissing beïnvloedt. Een AI-initiatief dat over een projecthorizon van twaalf maanden kosteneffectief lijkt, kan er heel anders uitzien wanneer de operationele kosten over drie jaar worden meegerekend. Organisaties die de TCO niet van tevoren in kaart brengen, komen vaak halverwege de implementatie in begrotingsgesprekken terecht, zonder dat er een duidelijke verantwoordelijke is voor de lopende uitgaven.
Hoe kunnen financiële beheerraamwerken op IT-gebied verborgen AI-kosten aan het licht brengen?
IT-financieel beheer (ITFM)-raamwerken brengen verborgen AI-kosten aan het licht door een gestructureerde taxonomie op te stellen waarin elke technologie-uitgave wordt gekoppeld aan een specifieke dienst, een specifiek product of een specifiek bedrijfsresultaat. Wanneer AI-workloads binnen deze taxonomie worden ingedeeld, wordt het volledige kostenplaatje zichtbaar: rekenkracht, opslag, datadiensten, engineeringwerkzaamheden en tools worden toegerekend aan de AI-functionaliteit die ze ondersteunen, in plaats van te verdwijnen in algemene IT-postjes.
Zonder een kader voor financieel beheer zijn de AI-kosten doorgaans verspreid over meerdere kostenplaatsen en budgetverantwoordelijken. De kosten voor GPU-rekenkracht komen voor op de factuur voor de cloudinfrastructuur. De arbeidskosten voor data-engineering vallen onder het budget van een ontwikkelingsteam. Monitoringtools worden in rekening gebracht bij een platformteam. Er is geen eenduidig overzicht dat laat zien wat de AI-capaciteit de organisatie daadwerkelijk kost, waardoor optimalisatie en prioritering vrijwel onmogelijk zijn.
ITFM-raamwerken lossen dit op door een gemeenschappelijke taal te creëren tussen IT, financiën en zakelijke belanghebbenden. Technology Business Management (TBM) biedt bijvoorbeeld een taxonomie die technologietorens koppelt aan IT-diensten en vervolgens aan bedrijfscapaciteiten. Wanneer AI-workloads in deze structuur worden ingepast, kan het management de volledige kosten van het leveren van een AI-aangedreven capaciteit overzien en deze afzetten tegen de bedrijfswaarde die deze oplevert.
Wat specifiek cloudgebaseerde AI betreft, FinOps-werkwijzen voegt een extra niveau van discipline toe. FinOps brengt financiën, IT en engineering samen in een model van gedeelde verantwoordelijkheid voor clouduitgaven, waarbij reactieve kostenrapportage wordt vervangen door actief kostenbeheer. Toegepast op AI-workloads betekent dit dat teams bewuste afwegingen maken tussen modelprestaties, infrastructuurkosten en bedrijfswaarde, in plaats van pas achteraf te ontdekken wat de gevolgen voor de kosten zijn.
Wat moeten organisaties bijhouden om de uitgaven voor AI-infrastructuur te beheersen?
Om de uitgaven voor AI-infrastructuur te beheersen, moeten organisaties het gebruik van rekenkracht, het opslagverbruik per gegevenslaag, de verwerkingskosten van datapijplijnen, de inferentiekosten per voorspelling, de frequentie van hertraining en de kosten per hertrainingsronde, en de verhouding tussen de uitgaven voor AI-infrastructuur en de gemeten bedrijfswaarde bijhouden. Zonder inzicht in deze indicatoren is kostenbeheersing reactief in plaats van proactief.
Het benuttingspercentage van rekenkracht vormt het uitgangspunt. GPU- en versnelde rekenbronnen zijn duur, en onbenutte of onderbenutte capaciteit is de meest voorkomende bron van verspilling in AI-infrastructuur. Door het benuttingspercentage per workload, team en tijdsperiode bij te houden, wordt duidelijk waar aanpassingen in de capaciteit of planning de kosten kunnen verlagen zonder de prestaties van het model aan te tasten.
Bij opslagkosten moet aandacht worden besteed aan de levenscyclus van gegevens. Trainingsdatasets, modelartefacten, tussentijdse uitvoer van pijplijnen en experimentlogboeken stapelen zich in de loop van de tijd op. Organisaties die hun beleid inzake gegevensbewaring niet actief beheren, zien hun opslagkosten voortdurend stijgen, vaak voor gegevens die niet langer bijdragen aan actieve werklasten.
De inferentiekosten per voorspelling zijn een maatstaf die de infrastructuuruitgaven rechtstreeks koppelt aan het zakelijke gebruik. Naarmate een AI-systeem opschaalt, stijgen ook de inferentiekosten. Door deze kosten per eenheid in de loop van de tijd bij te houden, kan worden vastgesteld wanneer architecturale aanpassingen, modelcompressie of cachingstrategieën aanzienlijke besparingen zouden opleveren.
Het toekennen van tags en de toewijzing vormen de operationele basis voor al deze tracking. AI-workloads moeten in cloudomgevingen op consistente wijze van tags worden voorzien, zodat de kosten kunnen worden toegerekend aan specifieke modellen, teams of zakelijke toepassingen. A Beoordeling van de FinOps-rijpheid kan helpen bij het opsporen van hiaten in uw huidige werkwijzen op het gebied van tagging en toewijzing, voordat deze een belemmering vormen voor kostencontrole op grote schaal.
Hoe wij u helpen de totale kosten van AI te beheersen
We werken samen met grote ondernemingen om het financiële inzicht en de bestuursstructuren op te bouwen die nodig zijn om de werkelijke kosten van AI te begrijpen en te beheersen – niet alleen het projectbudget, maar de volledige reeks operationele kosten. Onze aanpak koppelt financieel beheer in de cloud aan bredere kaders voor IT-financieel beheer, zodat AI-uitgaven verantwoordbaar en toewijsbaar zijn en aansluiten bij de bedrijfswaarde.
Concreet helpen wij u met het volgende:
- Kosten van AI-infrastructuur in kaart brengen naar een consistente taxonomie, zodat rekenkracht, opslag, datapijplijnen en engineeringinspanningen in één overzicht zichtbaar zijn
- FinOps-werkwijzen implementeren die financiën, IT en engineering samenbrengen in een model van gedeelde verantwoordelijkheid voor cloudgebaseerde AI-workloads
- De economische aspecten van de spoorwegeenheden bijhouden zoals de inferentiekosten per voorspelling en de hertrainingskosten per cyclus, zodat optimalisatiebeslissingen op gegevens zijn gebaseerd
- AI-kostenbeheer integreren met TBM-raamwerken om technologie-uitgaven te koppelen aan bedrijfsresultaten en prioritering van investeringen te ondersteunen
- Mogelijkheden voor optimalisatie van de personeelsbezetting en de planning in kaart brengen op het gebied van GPU-rekenkracht en opslag, om verspilling tegen te gaan zonder dat dit ten koste gaat van de prestaties van het model
Als je op grote schaal AI-mogelijkheden aan het opbouwen bent en wilt weten wat die werkelijk kosten, neem contact met ons op om te bespreken hoe wij u kunnen helpen die zichtbaarheid op te bouwen.