Welke invloed heeft onbenutte AI-capaciteit op uw clouduitgaven?

Ongebruikte AI-capaciteit drijft uw cloudkosten direct op doordat er kosten worden aangerekend voor rekenkracht die stil ligt of onvoldoende wordt benut. GPU-instances die zijn ingezet voor AI-trainingsruns, inferentie-eindpunten die tussen verzoeken door actief blijven staan, en te ruim toegewezen geheugenreservaties brengen allemaal kosten met zich mee, of ze nu waarde opleveren of niet. In de onderstaande paragrafen wordt precies uitgelegd hoe dit gebeurt, waarom het moeilijker te detecteren is dan standaard verspilling van rekenkracht, en wat u eraan kunt doen.

Welke soorten AI-capaciteit blijven onbenut in cloudomgevingen?

Ongebruikte AI-capaciteit in cloudomgevingen valt uiteen in verschillende categorieën, elk met een eigen kostenprofiel. GPU- en TPU-instances die zijn gereserveerd voor het trainen van modellen, maar tussen taken door blijven draaien, vormen de duurste vorm van inactieve AI-capaciteit. Inference-endpoints die ondanks weinig of sporadisch verkeer de klok rond actief blijven, te ruim toegewezen geheugentoewijzingen voor het bedienen van grote taalmodellen en vooraf aangeschafte gereserveerde instances die niet langer aansluiten bij de werkelijke werkbelastingpatronen dragen allemaal bij aan Kosten van AI in de cloud die geen zakelijk rendement opleveren.

In de praktijk zijn de meest voorkomende vormen van onbenutte AI-capaciteit onder meer:

• Clusters voor training in rust: GPU-clusters die zijn opgestart voor het trainen van modellen en die blijven draaien nadat een taak is voltooid, vaak omdat de automatische uitschakeling niet was geconfigureerd
• Endpoints voor inferentie met te hoge capaciteit: Infrastructuur die is afgestemd op de piekvraag, maar buiten de piekuren op slechts een fractie van de capaciteit draait
• Verlaten experimentele omgevingen: Ontwikkelings- en experimentele workloads die door data science-teams zijn aangemaakt en nooit worden buiten gebruik gesteld
• Niet volledig benutte gereserveerde capaciteit: Reserveringen voor toegewezen GPU’s of AI-versnellers die zijn aangeschaft op basis van prognoses die niet zijn uitgekomen
• Losstaande opslag gekoppeld aan AI-pijplijnen: Trainingsdatasets, modelcheckpoints en feature stores die nog lang na afloop van een project in dure opslaglagen worden bewaard

Elk van deze categorieën vertegenwoordigt een andere lacune in de verantwoording. Trainingsclusters vallen vaak onder de verantwoordelijkheid van engineeringteams, de infrastructuur voor inferentie onder die van platformteams en de gereserveerde capaciteit onder die van de financiële afdeling of de inkoopafdeling. Wanneer geen enkel team het volledige overzicht heeft, stapelt de verspilling zich bij al deze teams tegelijkertijd op.

Hoe zorgt onbenutte AI-capaciteit ervoor dat de cloudrekeningen oplopen?

Onbenutte AI-capaciteit drijft de cloudkosten op, omdat cloudproviders kosten in rekening brengen voor de toegewezen capaciteit, en niet voor de waarde die die capaciteit oplevert. Een GPU-instance met een bezettingsgraad van 5% kost evenveel als een instance met een bezettingsgraad van 95%. AI-workloads zijn in dit opzicht bijzonder duur, omdat GPU- en TPU-instances aanzienlijk duurder zijn dan standaard rekenkracht, wat betekent dat zelfs korte periodes van inactiviteit leiden tot aanzienlijke financiële verspilling.

Het inflatiemechanisme werkt op verschillende vlakken. Ten eerste worden de uren van een GPU-instance continu in rekening gebracht vanaf het moment dat een instance wordt gestart totdat deze wordt beëindigd, ongeacht of er op dat moment actief een trainingstaak wordt uitgevoerd. Een team dat aan het begin van een sprint een cluster in gebruik neemt en vergeet dit in het weekend uit te schakelen, kan kosten genereren die gelijk staan aan meerdere volledige trainingsruns, zonder dat dit ook maar enig resultaat oplevert.

Ten tweede worden er voor inferentie-eindpunten die als continu actieve diensten worden ingezet, 24 uur per dag kosten in rekening gebracht. Als een AI-functie voornamelijk tijdens kantooruren verkeer verwerkt, is een eindpunt dat ’s nachts en in het weekend draait met een benuttingsgraad die bijna nul is, puur afval in de wolken. Beleid voor automatische schaalbaarheid en geplande schaalbaarheid kunnen hiervoor een oplossing bieden, maar vereisen een zorgvuldige configuratie die veel teams bij de eerste implementatie over het hoofd zien.

Ten derde leiden kortingen voor vastgelegd gebruik en de aankoop van gereserveerde instances tot een andere vorm van inflatie. Wanneer de werkbelastingpatronen van AI veranderen, wordt de vastgelegde capaciteit die niet langer aansluit bij het daadwerkelijke gebruik een oninhaalbare kostenpost die niet meer kan worden terugverdiend. Organisaties betalen uiteindelijk zowel voor de ongebruikte reservering als voor extra on-demand capaciteit om de werkbelasting op te vangen die de oorspronkelijke verbintenis is ontgroeid.

Waarom is verspilling in de AI-cloud moeilijker op te sporen dan gewone verspilling van rekenkracht?

Verspilling in de AI-cloud is moeilijker op te sporen dan reguliere verspilling bij rekenkracht, omdat AI-workloads legitiem variabele gebruikspatronen vertonen, waardoor het lastig is om normaal gedrag te onderscheiden van daadwerkelijke verspilling. Een GPU-cluster dat tijdens een fase van gegevensvoorverwerking vóór een trainingsrun op een bezettingsgraad van 10% draait, ziet er in een kostendashboard identiek uit als een cluster dat niet meer in gebruik is. Standaarddrempels voor bezettingsgraad die worden gebruikt voor het optimaliseren van algemene rekencapaciteit, zijn zonder aanvullende context niet direct toepasbaar op AI-workloads.

Verschillende factoren maken deze detectie nog moeilijker:

• Patronen van piekbelasting en rust: AI-trainingsworkloads zijn van nature onderhevig aan pieken en dalen. Een cluster kan urenlang op maximale bezettingsgraad draaien en vervolgens inactief blijven terwijl de resultaten worden geëvalueerd. Monitoringtools die de bezettingsgraad met vaste tussenpozen meten, kunnen deze patronen volledig verkeerd weergeven.
• Gespreid eigendom: Data science-teams, ML-engineeringteams en platformteams maken vaak gebruik van dezelfde cloudaccounts. Tags voor kostenverdeling zijn vaak onvolledig of inconsistent, waardoor het moeilijk is om uitgaven aan specifieke projecten of teams toe te wijzen.
• Snelle experimentele cycli: Bij de ontwikkeling van AI wordt vaak geëxperimenteerd, waarbij omgevingen snel worden opgezet maar niet altijd even snel weer worden afgebroken. Verlaten experimenten stapelen zich stilletjes op.
• Ondoorzichtige prijsstelling voor AI-specifieke diensten: Beheerde AI-diensten, vector-databases en platforms voor modelhosting hebben prijsstructuren die minder intuïtief zijn dan die voor standaard rekenkracht, waardoor het opsporen van afwijkingen moeilijker is zonder domeinspecifieke kennis.

Standaard beheer van cloudkosten Tools die zijn ontwikkeld voor het optimaliseren van de rekencapaciteit in het algemeen, beschikken vaak niet over de werkbelastinggerichte context die nodig is om verspilling op het gebied van AI nauwkeurig te signaleren. Zonder FinOps-werkwijzen die specifiek zijn afgestemd op de kenmerken van AI-werkbelastingen, ontdekken de meeste organisaties verspilling in de AI-cloud pas wanneer ze een factuur ontvangen die aanzienlijk hoger uitvalt dan verwacht.

Wat zijn de financiële gevolgen van onbenutte AI-capaciteit op bedrijfsniveau?

Op bedrijfsniveau kan onbenutte AI-capaciteit een aanzienlijk deel van de totale clouduitgaven uitmaken, met name voor organisaties die op grote schaal zijn overgestapt op AI zonder daarvoor een passend beheerskader op te zetten. De financiële gevolgen worden nog versterkt doordat AI-infrastructuur hogere kosten per eenheid met zich meebrengt dan algemene rekenkracht; dit betekent dat dezelfde tekortkomingen in het beheer die bij standaardworkloads slechts een bescheiden verspilling veroorzaken, in AI-omgevingen tot aanzienlijk grotere verliezen leiden.

De financiële gevolgen doen zich op meerdere niveaus voor. Op het niveau van de directe kosten leiden inactieve GPU-instances, overgedimensioneerde infrastructuur voor inferentie en onderbenutte gereserveerde capaciteit tot kosten die geen meetbare bedrijfsresultaten opleveren. Op indirect niveau maakt een gebrek aan inzicht in de AI-kosten het moeilijker om voortdurende investeringen te rechtvaardigen, effectief te onderhandelen met cloudproviders of weloverwogen beslissingen te nemen over de vraag of workloads on-premises, in een hybride configuratie of volledig in de cloud moeten worden uitgevoerd.

Voor IT-leiders binnen ondernemingen is de verantwoordingsdimensie even belangrijk. Wanneer de kosten voor AI in de cloud niet worden toegerekend aan de teams en producten die ze veroorzaken, ontvangt de financiële afdeling een geconsolideerde factuur die niet op een zinvolle manier kan worden geanalyseerd. Dit zorgt voor wrijving tussen IT, financiën en engineering, en het verhindert het soort kosten-batenanalyse waarmee de organisatie de AI-uitgaven zou kunnen optimaliseren zonder afbreuk te doen aan de capaciteit. Het gevolg is dat cloudkosten weliswaar zichtbaar worden, maar niet actief worden beheerd om de bedrijfswaarde te maximaliseren.

Hoe kunnen FinOps-werkwijzen verspilling door ongebruikte AI-workloads terugdringen?

FinOps-werkwijzen verminderen verspilling door ongebruikte AI-workloads door verantwoordingsstructuren, besluitvormingsritmes en optimalisatieprocessen in te voeren die inzicht in de kosten omzetten in concrete actie. Tools voor cloudkostenbeheer kunnen u laten zien waar de AI-uitgaven naartoe gaan, maar FinOps bepaalt wie er verantwoordelijk is voor het ondernemen van actie op basis van die informatie en hoe snel beslissingen worden genomen. Specifiek voor AI-workloads betekent dit dat standaard FinOps-praktijken moeten worden aangepast om rekening te houden met de patronen van piekbelasting en inactiviteit, de gedistribueerde verantwoordelijkheid en de snelle experimentele cycli die kenmerkend zijn voor AI-ontwikkeling.

Bestuurs- en verantwoordingsstructuren

Effectieve FinOps voor AI begint met het toewijzen van duidelijke verantwoordelijkheid voor AI-workloads op team- en productniveau. Dit houdt in dat er een consistent taggingbeleid wordt geïmplementeerd, waarbij elke AI-resource wordt gekoppeld aan een verantwoordelijk team, een project en een bedrijfsdoelstelling. Wanneer een GPU-cluster inactief is, ontvangt een specifieke persoon die informatie en heeft hij of zij de bevoegdheid en verantwoordelijkheid om hierop te reageren. Zonder deze verantwoordingslaag stapelen de gebruiksgegevens zich op in dashboards, zonder dat er iemand actie op onderneemt.

Optimalisatieprocessen voor AI-specifieke afvalpatronen

Naast governance omvatten FinOps-praktijken voor AI-workloads onder meer het afstemmen van de omvang van inferentie-eindpunten op basis van daadwerkelijke verkeerspatronen, het instellen van automatische uitschakeling van trainingsclusters na voltooiing van een taak, en het invoeren van regelmatige evaluaties van gereserveerde capaciteitsverplichtingen in het licht van de huidige werkbelastingprognoses. Het gepland opschalen van inferentie-eindpunten die voorspelbare verkeerspatronen verwerken, kan een aanzienlijk deel van de inactieve kosten buiten de piekuren elimineren, zonder dat dit invloed heeft op de prestaties tijdens actieve uren.

FinOps introduceert ook een gestructureerd ritme voor het controleren van AI-experimentomgevingen. In plaats van te vertrouwen op individuele datawetenschappers om resources buiten gebruik te stellen, worden via een regelmatig terugkerend controleproces verweesde omgevingen opgespoord, waarna deze ofwel worden vrijgemaakt, ofwel worden doorgestuurd naar het verantwoordelijke team voor een beslissing. Alleen al dit proces kan aanzienlijke besparingen opleveren voor organisaties met actieve AI-ontwikkelingsprogramma’s.

Welke indicatoren moeten IT-leiders bijhouden om de uitgaven voor AI in de cloud te beheren?

IT-leiders moeten een combinatie van gebruiksstatistieken, kostenallocatiestatistieken en waardestatistieken bijhouden om de uitgaven voor AI-clouddiensten effectief te beheren. Gebruik alleen is onvoldoende, omdat een GPU-cluster dat tijdens een experiment met lage prioriteit op 80% draait, mogelijk minder waarde oplevert dan een cluster dat op 40% draait voor een productieworkload. De statistieken die het belangrijkst zijn, koppelen het verbruik van resources aan de bedrijfsresultaten.

De meest bruikbare indicatoren voor het beheer van AI-clouduitgaven zijn onder meer:

• Gebruiksgraad van de GPU en de versneller: Houd het gebruik van de track bij per instantie en per type workload, niet alleen als totaal. Maak onderscheid tussen training-, inferentie- en ontwikkelingsworkloads om voor elk daarvan de juiste drempelwaarden toe te passen.
• Kosten per trainingsronde per model: Door de trainingskosten te normaliseren naar een maatstaf per run, kan de efficiëntie in de loop van de tijd worden bijgehouden en kan worden vastgesteld wanneer de kosten stijgen zonder dat dit gepaard gaat met een overeenkomstige verbetering van de modelkwaliteit.
• Inferentiekosten per verzoek: Bij AI-diensten voor productieomgevingen zorgt het bijhouden van de kosten per inferentieverzoek ervoor dat de infrastructuuruitgaven worden gekoppeld aan het daadwerkelijke gebruik, waardoor het mogelijk wordt om eindpunten te identificeren waarvoor te veel capaciteit is toegewezen.
• Aantal uren waarin instances inactief waren, per team: Door het meten van het aantal uren waarin GPU’s en TPU’s inactief zijn en dat aan specifieke teams kan worden toegeschreven, wordt verantwoordelijkheid gecreëerd en komen patronen van verspilling aan het licht die kunnen worden aangepakt door middel van proceswijzigingen of automatisering.
• Benuttingsgraad van de gereserveerde capaciteit: Houd bij welk percentage van de toegezegde AI-capaciteit daadwerkelijk wordt gebruikt. Een bezettingsgraad die aanzienlijk onder 100% ligt, duidt op een discrepantie tussen de toezeggingen en de daadwerkelijke werkbelastingpatronen.
• AI-uitgaven als percentage van de totale clouduitgaven: Door deze verhouding in de loop van de tijd bij te houden, kunnen IT-leiders beter inschatten of de AI-infrastructuur evenredig meegroeit met het totale cloudgebruik of juist sneller groeit, wat zou kunnen duiden op tekortkomingen in het beheer.

Deze statistieken zijn het nuttigst wanneer ze op regelmatige basis worden geëvalueerd door een functieoverschrijdende groep waarin vertegenwoordigers van de financiële afdeling, IT en de engineeringteams die verantwoordelijk zijn voor AI-workloads zitting hebben. Eenmalige rapportage zonder een terugkerend besluitvormingsritme zorgt weliswaar voor inzicht, maar leidt niet tot actie, wat een van de meest voorkomende oorzaken van mislukking is in beheer van cloudkosten programma's.

Hoe wij u helpen bij het beheren van onbenutte AI-capaciteit en clouduitgaven

Via onze FinOps-diensten helpen we organisaties om de stap te zetten van inzicht in cloudkosten naar actief beheer van AI-workloads. In plaats van u alleen dashboards te bieden die het probleem weliswaar in beeld brengen maar niet oplossen, ontwikkelen we een bedrijfsmodel dat kostengegevens koppelt aan besluitvorming. Concreet helpen we u met:

• Beoordeling van de FinOps-rijpheid: We beoordelen uw huidige mogelijkheden op het gebied van financieel beheer in de cloud, met name wat betreft personeel, processen, governance en tools, en brengen in kaart waar verspilling van AI-workloads het meest waarschijnlijk voorkomt en waarom
• Kaders voor verantwoording en tagging: Wij ontwerpen en implementeren kostenverdelingsstructuren waarmee de kosten voor AI-clouddiensten worden toegerekend aan de teams en producten die deze kosten veroorzaken, waardoor verantwoordelijkheid en aansprakelijkheid concreet invulling krijgen
• Aanpassing en optimalisatie voor AI-workloads: We brengen te ruim gedimensioneerde inferentie-eindpunten, inactieve trainingsclusters en onderbenutte gereserveerde capaciteit binnen AWS, Azure en GCP in kaart, en implementeren de automatisering en processen om deze aan te pakken
• Terugkerende bestuurscyclusen: We stellen besluitvormingsritmes en evaluatieprocessen vast die ervoor zorgen dat kosteninzichten worden omgezet in regelmatige optimalisatiemaatregelen in plaats van eenmalige oplossingen
• Integratie van TBM en FinOps: We koppelen het kostenbeheer voor AI-clouddiensten aan uw bredere financiële IT-beheersstructuur, zodat beslissingen over AI-uitgaven worden genomen in het licht van de totale IT-kosten en de bedrijfswaarde

Als ongebruikte AI-capaciteit uw cloudkosten opdrijft en u er niet zeker van bent dat u volledig inzicht hebt in waar de verspilling vandaan komt, neem contact met ons op om te bespreken hoe wij u kunnen helpen bij het opzetten van een beleid en optimalisatiemaatregelen waarmee u de kosten van AI in de cloud onder controle kunt houden.