Wat is het kostenverschil tussen AI-training en inferentie?

AI-inferentie kost over de gehele levensduur van een model doorgaans meer dan training. Training is een eenmalige of periodieke uitgave, terwijl inferentie continu wordt uitgevoerd telkens wanneer een gebruiker een verzoek indient, wat een voortdurende stroom aan rekenkosten genereert die de oorspronkelijke trainingskosten al snel overstijgt. Het verschil tussen deze twee kostencategorieën is een van de belangrijkste financiële dynamieken die organisaties moeten begrijpen voordat ze AI op grote schaal implementeren. Hieronder lichten we de specifieke hardware, schaalbaarheidsfactoren en optimalisatiemogelijkheden toe die aan beide kanten van de vergelijking een rol spelen.

Waarom kost AI-inferentie op de lange termijn vaak meer dan training?

AI-inferentie kost op de lange termijn meer dan training, omdat training slechts één keer plaatsvindt, terwijl inferentie miljoenen of miljarden keren plaatsvindt. Het trainen van een groot model kan weken duren en veel rekenkracht vergen, maar zodra het voltooid is, zijn die kosten vast. Inferentie daarentegen wordt elke keer uitgevoerd wanneer een gebruiker een prompt verstuurt, een voorspellingsverzoek indient of een geautomatiseerde workflow activeert, waardoor rekenkracht een terugkerende operationele kostenpost wordt die rechtstreeks meegroeit met het gebruik.

De kosten lopen snel op. Een model dat met een rekenkracht van enkele miljoenen dollars is getraind, kan binnen enkele maanden inferentiekosten genereren die dat bedrag overschrijden, als het een groot gebruikersbestand bedient. In tegenstelling tot training, die kan worden ingepland en in batches kan worden uitgevoerd tijdens daluren, moet inferentie vaak in realtime reageren, wat een infrastructuur vereist die altijd actief is en lage latentie garandeert. Die combinatie van volume, frequentie en druk op de latentie maakt inferentie tot de belangrijkste kostenfactor voor de meeste AI-productiesystemen.

Welke hardware is bepalend voor de kosten van AI-training?

De kosten voor AI-training worden voornamelijk bepaald door hoogwaardige GPU-clusters, meestal NVIDIA A100- of H100-versnellers, in combinatie met de snelle verbindingen en opslagsystemen die nodig zijn om enorme datasets efficiënt te verwerken. Trainingsworkloads zijn rekenintensief maar voorspelbaar, waardoor ze zeer geschikt zijn voor grote, speciaal voor dit doel gebouwde clusters die dagen of wekenlang aan één enkele taak werken.

De totale hardwarekosten van de opleiding hangen af van drie factoren die samen een rol spelen:

• Aantal verbruikte GPU-uren: Bij grotere modellen zijn meer bewerkingsrondes over meer gegevens nodig, waardoor de GPU-tijd direct toeneemt.
• Bandbreedte van de interconnectie: Voor training met meerdere GPU's en meerdere knooppunten zijn snelle verbindingen zoals NVLink of InfiniBand nodig om knelpunten te voorkomen die kostbare GPU-cycli verspillen.
• Opslagdoorvoer: Om trainingsgegevens snel genoeg te laden zodat de GPU’s continu volledig worden benut, is hoogwaardige gedistribueerde opslag nodig, wat zowel de kapitaaluitgaven als de cloudkosten verhoogt.

In cloudomgevingen worden trainingsopdrachten doorgaans per GPU-uur in rekening gebracht. Organisaties die trainingen uitvoeren op AWS, Azure of GCP betalen een meerprijs voor de krachtigste accelerator-instances, en inefficiënte trainingspijplijnen waarbij GPU’s tussen batches door onbenut blijven, leiden tot directe verspilling van die kosten.

Welke hardware is bepalend voor de kosten van AI-inferentie?

De kosten van AI-inferentie worden bepaald door de hardware die nodig is om voorspellingen op grote schaal en met een lage latentie te kunnen leveren. Afhankelijk van de omvang van het model en de vereisten op het gebied van doorvoercapaciteit kan het hierbij gaan om GPU’s, gespecialiseerde AI-versnellers of zelfs CPU’s. In tegenstelling tot training moet de hardware voor inferentie continu beschikbaar blijven, wat betekent dat organisaties 24 uur per dag voor capaciteit betalen in plaats van alleen tijdens een vastgesteld uitvoeringsvenster.

Bij de keuze van de hardware voor inferentie moet men echte afwegingen maken:

• GPU's: Flexibel en krachtig, maar duur om continu te laten draaien. Het meest geschikt voor grote taalmodellen of beeldverwerkingsmodellen die per verzoek aanzienlijke parallelle rekenkracht vereisen.
• Op maat gemaakte AI-versnellers: Speciaal voor dit doel ontwikkelde chips, zoals de TPU’s van Google of AWS Inferentia, bieden een betere kosten-per-inferentie-verhouding voor specifieke workloads, maar vereisen technische inspanningen om ze te optimaliseren.
• CPU's: Geschikt voor kleinere of gekwantiseerde modellen waarbij de eisen aan de latentie minder streng zijn en de doorvoer bescheiden is. Aanzienlijk goedkoper per uur, maar langzamer per verzoek.

De keuze van de inferentiehardware heeft een directe en blijvende invloed op de beheer van cloudkosten beeld, omdat de infrastructuur voor inferentie continu in de productieomgeving draait en niet als een taak met een vaste looptijd.

Hoe verhouden de trainings- en inferentiekosten zich tot elkaar bij modellen van verschillende omvang?

Zowel de trainings- als de inferentiekosten nemen toe naarmate het model groter wordt, maar op verschillende manieren. De trainingskosten stijgen ruwweg evenredig met het aantal modelparameters vermenigvuldigd met de omvang van de trainingsdataset. De inferentiekosten stijgen met het aantal parameters dat per verzoek moet worden geladen en uitgevoerd, maar worden ook beïnvloed door het aantal verzoeken, de lengte van de context en de vereisten op het gebied van gelijktijdigheid.

Voor kleine modellen met minder dan een miljard parameters is het trainen wellicht betaalbaar genoeg om op één GPU-node uit te voeren, en kan de inferentie vaak op CPU-instances worden uitgevoerd. Het kostenverschil tussen trainen en inferentie is op deze schaal relatief klein.

Bij grote taalmodellen met tientallen of honderden miljarden parameters verandert de dynamiek aanzienlijk. De trainingskosten kunnen oplopen tot miljoenen dollars aan rekenkracht, maar ook de inferentiekosten per query stijgen sterk, omdat bij elk verzoek een groot deel van de gewichtsmatrix van het model moet worden geladen en verwerkt. Bij grote queryvolumes kunnen de kosten voor inferentie al binnen enkele weken na de lancering hoger uitvallen dan de trainingskosten. Daarom investeren organisaties die modellen op baanbrekende schaal gebruiken fors in technieken voor inferentie-optimalisatie, zoals kwantisering, distillatie en caching, die hieronder worden besproken.

Welke factoren zorgen ervoor dat de kosten voor AI-inferentie onverwacht sterk stijgen?

De kosten voor AI-inferentie stijgen onverwacht wanneer gebruikspatronen, de complexiteit van verzoeken of de infrastructuurconfiguratie veranderen op manieren die niet waren voorzien tijdens de capaciteitsplanning. De meest voorkomende oorzaken zijn onder meer plotselinge stijgingen in de vraag van gebruikers, langere invoer- of uitvoerreeksen dan waarvoor het model was ontworpen, en configuraties voor automatische schaalbaarheid die dure GPU-instances sneller toewijzen dan nodig is.

Er zijn een aantal specifieke factoren die het waard zijn om nauwlettend in de gaten te houden:

• Toename van de contextlengte: Bij veel grote taalmodellen zijn de kosten of het rekenvermogen dat wordt verbruikt evenredig aan het aantal verwerkte tokens. Als gebruikers langere prompts versturen of als gesprekken in de loop van de tijd meer context opbouwen, stijgen de kosten per verzoek zonder dat het aantal verzoeken verandert.
• Ongecontroleerde automatische schaalbaarheid: Cloud-inferentie-eindpunten die automatisch naar behoefte opschalen, kunnen tijdens pieken in het verkeer grote GPU-instances in gebruik nemen, maar slagen er vervolgens niet in om tijdig weer terug te schalen, waardoor dure capaciteit onbenut blijft.
• Overbodige of dubbele verzoeken: Toepassingen die per gebruikersactie meerdere API-aanroepen doen, of die geen caching hebben voor herhaalde zoekopdrachten, verhogen de verwerkingskosten aanzienlijk zonder dat dit de gebruiker iets oplevert.
• Upgrades van modelversies: Als je halverwege de implementatie overschakelt naar een grotere of krachtigere modelversie, neemt de rekenkracht per verzoek toe zonder dat dit gepaard gaat met een overeenkomstige verbetering van de inzichtelijkheid in de facturering.

Deze pieken zijn bijzonder moeilijk te detecteren zonder de juiste methoden voor het labelen en toewijzen van kosten, omdat de kosten voor inferentie in de factureringsdashboards van clouddiensten vaak worden weergegeven als ongedifferentieerde GPU- of API-kosten.

Hoe kunnen organisaties de kosten van AI-inferentie verlagen zonder hertraining?

Organisaties kunnen de kosten voor AI-inferentie aanzienlijk verlagen zonder het model opnieuw te trainen, door op de serving-laag optimalisatietechnieken toe te passen, waaronder modelkwantisering, het in de cache opslaan van reacties, het bundelen van verzoeken en het afstemmen van de inferentie-infrastructuur op de daadwerkelijke werkbelastingpatronen. Deze benaderingen verlagen de kosten per verzoek zonder dat de gewichten van het model hoeven te worden gewijzigd of dat er een nieuwe trainingsronde nodig is.

Tot de meest effectieve technieken behoren:

• Kwantificering: Door de numerieke precisie van modelgewichten te verlagen van 32-bits of 16-bits drijvende-kommagetallen naar 8-bits gehele getallen, worden de geheugenvereisten verminderd en wordt de inferentie versneld, vaak met minimale gevolgen voor de kwaliteit van de output.
• Caching van reacties: Het opslaan van de resultaten van veelvoorkomende of herhaalde zoekopdrachten, zodat identieke verzoeken uit de cache worden geleverd in plaats van dat er een nieuwe inferentie-aanroep wordt geactiveerd. Dit is met name effectief bij gebruikssituaties met voorspelbare zoekpatronen.
• Verzoek om batchverwerking: Het bundelen van meerdere inferentieverzoeken, zodat de GPU deze parallel in plaats van achtereenvolgens verwerkt. Batching verbetert het gebruik van de hardware en verlaagt de kosten per verzoek, ten koste van een lichte toename van de latentie.
• Model-distillatie: Het inzetten van een kleiner model dat is getraind om het gedrag van een groter model na te bootsen. Hoewel dit enige trainingsinspanning vergt, is het veel goedkoper dan het trainen van het oorspronkelijke model en kan het de rekenkracht die nodig is voor inferentie met een orde van grootte verminderen.
• Infrastructuur op de juiste schaal: Instantietypen en -groottes afstemmen op de daadwerkelijke vereisten voor doorvoer en latentie, in plaats van standaard de grootste beschikbare GPU te kiezen. Veel inferentiewerkbelastingen draaien efficiënt op kleinere of op de CPU gebaseerde instanties.

Hoe wij u helpen bij het beheren van de kosten voor AI en cloudcomputing

Het beheren van de kosten voor AI-inferentie is in wezen een uitdaging op het gebied van financieel beheer in de cloud. De kosten zijn dynamisch, verspreid over verschillende teams en moeilijk toe te wijzen zonder de juiste bestuursstructuur. Dit is precies waar wij organisaties helpen bij het opbouwen van de capaciteiten die ze nodig hebben.

Via onze FinOps-diensten, helpen wij u om verder te gaan dan alleen inzicht in de basiskosten van de cloud, naar actief kostenbeheer dat zowel AI-workloads als de rest van uw clouduitgaven omvat. Concreet helpen wij u met het volgende:

• Wijs de kosten voor inferentie en training nauwkeurig toe aan de teams en producten die deze kosten veroorzaken, zodat de verantwoordelijkheid duidelijk is
• Mogelijkheden voor optimalisatie van het aantal GPU- en CPU-inferentie-instances op AWS, Azure en GCP in kaart brengen
• Zorg voor een vast besluitvormingsritme waarin de afdelingen Financiën, IT en Techniek samen de uitgaven voor AI evalueren en maatregelen nemen om deze te optimaliseren
• Integreer kostengegevens over AI in de cloud in een breder kader voor Technology Business Management, zodat het management een volledig beeld krijgt van de verhouding tussen kosten en waarde

Als uw organisatie AI-workloads opschaalt en merkt dat de kosten voor inferentie sneller stijgen dan verwacht, neem contact met ons op om te bespreken hoe wij u kunnen helpen bij het opzetten van het beleid en de tools om die kosten onder controle te krijgen.