Que signifie « FinOps pour l'IA » et pourquoi est-ce important ?

Le FinOps pour l'IA consiste à appliquer les principes des opérations financières spécifiquement aux charges de travail liées à l'intelligence artificielle, notamment l'entraînement des modèles, l'inférence, les pipelines de données et le calcul intensif sur GPU. Cette approche étend les disciplines traditionnelles du FinOps dans le cloud afin de répondre à la dynamique de coûts propre à l’IA, où les tendances de dépenses sont bien plus volatiles, les besoins en ressources plus difficiles à prévoir et le lien entre coûts et valeur métier plus complexe à établir. Les sections ci-dessous abordent les questions les plus courantes que se posent les entreprises lorsqu’elles mettent en place une pratique de gestion des coûts liés à l’IA.

En quoi le FinOps pour l'IA diffère-t-il du FinOps cloud traditionnel ?

Le FinOps pour l'IA se distingue du FinOps cloud traditionnel principalement parce que les charges de travail liées à l'IA introduisent des facteurs de coût que les cadres de gestion financière cloud standard n'ont pas été conçus pour prendre en charge. Alors que le FinOps traditionnel se concentre sur les coûts de calcul, de stockage et de réseau, qui sont relativement stables et bien compris, l’IA ajoute à l’équation les clusters de GPU, les API des modèles de base, les cycles d’entraînement et les services d’inférence, chacun disposant de son propre modèle de tarification et de son propre profil de consommation.

Dans la tradition FinOps dans le cloud, le coût d'exécution d'une charge de travail est largement prévisible dès lors que vous maîtrisez votre architecture. Vous pouvez dimensionner correctement vos machines virtuelles, vous engager sur une capacité réservée et établir des prévisions fiables. Avec les charges de travail d’IA, un seul cycle d’entraînement peut consommer des milliers d’heures de GPU, et le coût de ce cycle peut ne pas être connu avant qu’il ne soit terminé. Les coûts d’inférence évoluent en fonction du volume de requêtes d’une manière difficile à anticiper, d’autant plus que les modèles sont adoptés dans un nombre croissant de fonctions métier.

Il existe également une dimension de gouvernance qui diffère considérablement. Le FinOps traditionnel établit une responsabilité entre les équipes d'ingénierie et leurs budgets cloud. Le FinOps dédié à l'IA doit également prendre en compte les équipes de science des données, les propriétaires de modèles et les parties prenantes métier qui commanditent le développement de modèles, mais qui ne comprennent pas forcément les implications financières de leurs choix. Le modèle de responsabilité doit s'étendre à un ensemble plus large de rôles.

Pourquoi les coûts liés aux charges de travail de l'IA sont-ils si difficiles à prévoir ?

Les coûts liés aux charges de travail d'IA sont difficiles à prévoir, car ils dépendent de variables inconnues avant le début des travaux, notamment les choix relatifs à l'architecture du modèle, la taille de l'ensemble de données, le comportement de convergence de l'entraînement et la demande d'inférence. Contrairement à une application web, pour laquelle il est possible d'estimer le coût à partir du volume de requêtes et du type d'instance, le coût d'une tâche d'entraînement d'IA résulte de l'interaction entre de nombreux choix techniques effectués au cours du développement.

Plusieurs facteurs viennent aggraver ce caractère imprévisible :

• Les séances d'entraînement n'ont pas de durée fixe. Un modèle peut nécessiter bien plus d'itérations pour converger que ce qui avait été initialement estimé, ce qui multiplie les coûts liés au GPU sans crier gare.
• L'expérimentation est, par nature, source de gaspillage. Les équipes de science des données mènent de nombreuses expériences qui ne débouchent pas sur des modèles exploitables, et chaque expérience mobilise une partie du budget de calcul.
• La demande en matière d'inférence est difficile à prévoir. Lorsqu'un modèle passe en production, les habitudes d'utilisation dépendent de la rapidité avec laquelle l'entreprise l'adopte, ce qui est rarement prévisible au début.
• Les prix des cartes graphiques sont volatils et l'offre est limitée. Les tarifs « Spot » et « à la demande » des instances GPU hautes performances varient considérablement, et leur disponibilité n'est pas garantie.
• Les coûts liés aux API de modèles tiers évoluent de manière non linéaire. Lorsque les entreprises utilisent des modèles de base proposés par des fournisseurs tels qu’OpenAI ou Anthropic, les coûts liés au nombre de jetons peuvent augmenter rapidement à mesure que l’utilisation s’étend à l’ensemble des équipes.

Il en résulte que les dépenses liées à l'IA peuvent croître plus rapidement que celles de toute autre catégorie de dépenses liées au cloud, dépassant souvent les structures de gouvernance mises en place pour les charges de travail traditionnelles.

Quels sont les éléments essentiels d'un cadre FinOps dédié à l'IA ?

Un cadre FinOps dédié à l'IA repose sur quatre composantes essentielles : la visibilité et la répartition des coûts liés aux ressources spécifiques à l'IA, des structures de gouvernance couvrant les équipes d'IA et les responsables de modèles, des pratiques d'optimisation adaptées aux charges de travail d'entraînement et d'inférence, ainsi qu'une boucle de rétroaction reliant les dépenses en IA à des résultats commerciaux mesurables.

Visibilité et répartition des coûts

On ne peut pas gérer ce qu'on ne voit pas. Pour les charges de travail liées à l'IA, la visibilité implique de marquer et d'imputer les coûts au niveau de chaque modèle, de chaque expérience et de chaque cas d'utilisation, et non pas uniquement au niveau de l'équipe ou du projet. Cela nécessite des outils capables de mesurer l'utilisation des GPU, le volume des appels d'API et les coûts de traitement des données, puis de les associer aux initiatives métier qu'ils soutiennent.

Gouvernance et responsabilité

En matière de gestion des coûts liés à l'IA, la gouvernance consiste à définir qui est habilité à approuver les cycles d'entraînement dépassant un certain seuil de coût, qui est responsable du budget alloué au service d'inférence, et comment le suivi des expérimentations sur les modèles s'inscrit dans le cadre d'un plan financier. Sans cette structure, les dépenses liées à l'IA augmentent de manière incontrôlée, motivées par la curiosité technique plutôt que par les priorités de l'entreprise.

Pratiques d'optimisation

L'optimisation des charges de travail d'IA comprend des techniques telles que le choix du type d'instance adapté à chaque tâche d'entraînement, l'utilisation d'instances Spot lorsque l'entraînement peut tolérer des interruptions, la mise en cache des résultats d'inférence pour les requêtes répétées, et le choix de modèles plus petits ou distillés lorsque les modèles à grande échelle ne sont pas nécessaires. Ces décisions doivent être prises de manière systématique, et non au cas par cas.

Alignement sur la valeur de l'entreprise

Le dernier volet établit un lien entre les dépenses consacrées à l'IA et les résultats qu'elle génère. Il s'agit de mesurer le coût par prédiction, le coût par déploiement de modèle ou le coût par processus métier automatisé, puis d'utiliser ces indicateurs pour déterminer quelles initiatives en matière d'IA méritent de bénéficier d'un investissement continu.

Quelles équipes devraient être en charge des FinOps pour l'IA au sein d'une organisation ?

La gestion FinOps de l'IA doit relever de la responsabilité conjointe des équipes financières, informatiques et de science des données ou d'ingénierie de l'IA, avec une répartition claire des responsabilités entre ces trois entités. Aucune équipe ne peut à elle seule gérer efficacement les coûts liés à l'IA de manière isolée, car les décisions qui déterminent les dépenses sont prises par les data scientists et les ingénieurs, tandis que la responsabilité budgétaire incombe aux dirigeants des services financiers et informatiques.

Concrètement, cela implique la mise en place d'un groupe de travail interfonctionnel « FinOps pour l'IA » composé notamment de :

• Responsables en IA ou en science des données qui comprennent les compromis techniques sous-jacents aux choix de modèles et d'infrastructures
• Responsables des finances dans le domaine du cloud ou des infrastructures qui assurent le suivi des dépenses par rapport aux budgets et signalent les anomalies
• Acteurs du monde des affaires qui est en mesure d'évaluer si la valeur apportée par un modèle justifie son coût d'exploitation
• Un praticien ou un responsable FinOps qui assure le suivi du rythme de gouvernance, veille à la qualité des données et pilote les décisions d'optimisation

Le rôle du responsable FinOps est ici essentiel. Il faut que quelqu’un veille au bon déroulement des réunions d’analyse des coûts, s’assure que les normes de marquage et d’affectation sont appliquées de manière cohérente, et traduise les données techniques relatives aux dépenses dans un langage compréhensible par les parties prenantes des secteurs opérationnel et financier, afin qu’elles puissent agir en conséquence. Les organisations qui confient cette responsabilité à une personne désignée plutôt que de la répartir entre les membres d’une équipe constatent des progrès plus rapides.

Comment les entreprises peuvent-elles réduire les coûts liés à l'infrastructure d'IA sans compromettre les performances des modèles ?

Les entreprises peuvent réduire les coûts liés à l'infrastructure d'IA sans compromettre les performances des modèles en faisant des choix plus judicieux au niveau de l'infrastructure, des modèles et des processus, plutôt qu'en se contentant de réduire les ressources. L'objectif est d'éliminer le gaspillage et les inefficacités, et non de limiter les capacités qui font toute la valeur de l'IA.

Parmi les stratégies de réduction des coûts les plus efficaces, on peut citer :

• Choisir la taille adaptée des instances GPU. De nombreuses tâches d'entraînement s'exécutent sur des types d'instances dont la capacité est supérieure aux besoins réels de la charge de travail. Adapter la taille de l'instance aux besoins réels en mémoire et en puissance de calcul permet de réduire les coûts sans nuire aux résultats de l'entraînement.
• Utilisation d'instances « spot » ou « préemptibles » pour une formation interruptible. Pour les tâches d'entraînement pouvant être suspendues puis reprises, la tarification ponctuelle peut permettre de réduire considérablement les coûts liés aux GPU par rapport aux tarifs à la demande.
• Mise en œuvre de techniques d'optimisation de l'inférence. La quantification, l'élagage des modèles et le regroupement des requêtes d'inférence permettent de réduire la puissance de calcul nécessaire par prédiction sans dégradation notable de la qualité des résultats dans la plupart des cas d'utilisation.
• Établissement des budgets destinés aux expériences. La définition d'un budget de calcul maximal pour chaque série d'expériences oblige les équipes de science des données à choisir avec plus de discernement les expériences qu'elles mènent, ce qui réduit le volume des tâches d'entraînement à faible valeur ajoutée.
• Évaluation de la taille du modèle par rapport aux exigences de la tâche. Les modèles plus petits, spécialisés dans des tâches précises, offrent souvent des performances équivalentes à celles des grands modèles polyvalents pour des cas d'utilisation bien définis, et ce pour un coût d'inférence bien moindre.

Le point commun entre ces différentes approches est l'intentionnalité. La réduction des coûts liés à l'infrastructure d'IA résulte de choix délibérés en matière de compromis, effectués dès les premières étapes du processus de développement, et non de l'application de restrictions a posteriori.

Quels outils prennent en charge le FinOps pour les charges de travail d'IA ?

Les outils qui prennent en charge le FinOps pour les charges de travail d'IA se répartissent en trois catégories : les plateformes de gestion des coûts du cloud qui ont étendu leur champ d'application aux ressources spécifiques à l'IA, les outils d'observabilité natifs de l'IA qui suivent les coûts liés aux modèles et aux expérimentations, et les cadres FinOps qui fournissent la structure de gouvernance nécessaire pour garantir l'efficacité de ces outils.

Les plateformes cloud telles qu’AWS, Azure et Google Cloud intègrent des consoles de gestion des coûts qui offrent une visibilité sur les dépenses liées aux instances GPU, mais elles nécessitent une configuration importante pour imputer les coûts au niveau du modèle ou du cas d’utilisation. Les plateformes FinOps spécialement conçues à cet effet, notamment Apptio Cloudability, étendent cette visibilité grâce à des règles d’imputation, à la détection des anomalies et à des recommandations d’optimisation qui s’appliquent à tous les environnements d’IA multicloud.

Des outils spécifiques à l'IA, tels que MLflow et Weights and Biases, permettent de suivre les coûts des expériences parallèlement aux indicateurs de performance des modèles, ce qui aide les équipes de science des données à comprendre en temps réel les implications financières de leurs choix techniques. L'intégration de ces outils à votre plateforme de gestion des coûts du cloud offre une vision plus complète de la répartition des dépenses liées à l'IA et des résultats obtenus.

A Évaluation de la maturité FinOps constitue un bon point de départ si vous ne savez pas encore exactement de quels outils votre organisation a besoin. Il évalue vos capacités actuelles en matière de ressources humaines, de processus, de gouvernance et d'outils, et établit une feuille de route hiérarchisée pour mettre en place une pratique de gestion des coûts basée sur l'IA adaptée à votre environnement. Vous pouvez également découvrir Mise en œuvre d'outils FinOps des conseils pour vous aider à tirer le meilleur parti des plateformes dont vous disposez déjà.

Comment nous vous accompagnons dans la mise en œuvre du FinOps pour l'IA

Nous aidons les organisations à passer d’une gestion ponctuelle des dépenses liées à l’IA à une pratique FinOps structurée et régie pour l’IA, couvrant l’ensemble du parcours, de la visibilité initiale à l’optimisation continue. Notre approche est pratique et concrète, articulée autour des quatre domaines les plus importants pour la gestion des coûts liés à l’IA :

• Conception du système de gouvernance : Nous définissons des droits de décision, des structures de responsabilité et des fréquences de contrôle des coûts adaptés aux équipes d'IA, et pas seulement aux charges de travail cloud traditionnelles.
• Répartition des coûts et étiquetage : Nous mettons en place des cadres d'affectation qui attribuent les dépenses liées à l'IA aux modèles, aux cas d'utilisation et aux résultats commerciaux, vous fournissant ainsi les données dont vous avez besoin pour prendre des décisions d'investissement éclairées.
• Assistance à l'optimisation : Nous identifions des possibilités concrètes de réduire les coûts liés aux GPU, à l'inférence et aux API sans compromettre les performances des modèles.
• Intégration entre TBM et FinOps : Nous intégrons votre démarche de gestion des coûts liés à l'IA à votre cadre global de gestion financière informatique, afin que les dépenses liées à l'IA soient évaluées dans le contexte de l'investissement technologique global et de la valeur ajoutée pour l'entreprise.

Si vous constatez que les coûts liés à l'IA augmentent plus rapidement que votre capacité à les maîtriser, ou si vous souhaitez mettre en place des bases solides avant que cela ne se produise, contactez-nous pour faire le point sur la situation actuelle de votre organisation et définir ensemble la prochaine étape concrète à suivre.