Comment les équipes des services financiers, d'ingénierie et d'IA devraient-elles se répartir la responsabilité des dépenses liées à l'IA ?

Les équipes financières, d'ingénierie et d'IA devraient se partager la responsabilité des dépenses liées à l'IA selon un modèle dans lequel l'ingénierie est chargée des décisions d'utilisation, la finance assure la gouvernance budgétaire et les équipes d'IA ou de science des données veillent à l'efficacité des charges de travail. Aucune équipe ne peut à elle seule gérer efficacement les coûts liés à l’IA de manière isolée, car les charges de travail liées à l’IA combinent consommation d’infrastructure, risques liés à l’expérimentation et valeur métier d’une manière qui nécessite un jugement interfonctionnel. Les questions ci-dessous expliquent comment ce partage des responsabilités fonctionne dans la pratique.

À qui incombe aujourd'hui la gestion des dépenses liées à l'IA dans la plupart des entreprises ?

Dans la plupart des entreprises aujourd’hui, les dépenses liées à l’IA ne relèvent d’aucun responsable précis. Les équipes d’ingénierie allouent les ressources de calcul et de stockage qui génèrent ces coûts, les équipes financières reçoivent les factures, et ce sont les équipes chargées de l’IA ou de la science des données qui prennent les décisions déterminant le volume de ressources consommées. Il en résulte un vide où tout le monde est impliqué, mais où personne n’est tenu pour responsable.

Cette situation rappelle les débuts de l’adoption du cloud, où le même problème structurel était apparu : les équipes applicatives contrôlaient les décisions en matière de dépenses, mais ce sont les services informatiques et financiers qui en assumaient les conséquences financières. Avec les charges de travail liées à l’IA, l’écart est encore plus grand, car les facteurs de coût sont moins prévisibles. L'entraînement d'un modèle de grande envergure ou l'exécution d'inférences à grande échelle peuvent générer des dépenses importantes en quelques heures, et ces dépenses sont souvent invisibles pour le service financier jusqu'à ce que la facture arrive.

En pratique, cela se traduit par une gestion réactive des budgets consacrés à l'IA. Les équipes demandent des ressources, les coûts s'accumulent, et le service financier n'intervient que lorsque les dépenses dépassent un certain seuil. Ce n'est pas de la gouvernance financière. Il s'agit d'une maîtrise des coûts a posteriori, qui génère systématiquement des tensions entre les équipes plutôt que de favoriser une compréhension commune.

Qu'est-ce qu'un modèle de responsabilité partagée pour les coûts liés à l'IA ?

Un modèle de responsabilité partagée en matière de coûts liés à l'IA est une structure de gouvernance qui attribue des responsabilités financières claires à chaque équipe en fonction de ce qu'elle contrôle. L'ingénierie est responsable des décisions qui déterminent la consommation des ressources. La direction financière est chargée du cadre budgétaire, des prévisions et du reporting. Les équipes d'IA et de science des données sont responsables de l'efficacité des charges de travail et des compromis entre coût et performance au sein de leurs expériences et de leurs systèmes de production.

Le partage des responsabilités ne signifie pas pour autant un partage de la confusion. Chaque fonction a un rôle bien défini :

• Équipes d'ingénieurs baliser correctement les ressources, choisir les types d'instances adaptés et gérer le cycle de vie des instances de calcul, notamment en arrêtant les tâches d'entraînement inactives.
• Équipes financières fixer des limites budgétaires, définir des seuils d'approbation pour les nouvelles initiatives en matière d'IA et transformer les données relatives à l'utilisation du cloud en rapports pertinents pour l'entreprise.
• Équipes spécialisées dans l'IA et la science des données prendre des décisions architecturales tenant compte des coûts, estimer les besoins en ressources avant le début des expériences et signaler lorsque les charges de travail évoluent de manière imprévue.
• Responsables métier ou chefs de produit établir un lien entre les dépenses en IA et les résultats commerciaux, et aider à déterminer quelles expériences méritent d'être financées en priorité.

Ce modèle ne fonctionne que lorsque ces rôles sont formalisés, et non simplement supposés. Les organisations qui laissent la responsabilité implicite constatent souvent que chaque équipe a tendance, par défaut, à optimiser ses propres priorités, ce qui entraîne des compromis sous-optimaux et des conflits budgétaires récurrents.

Comment le FinOps s'applique-t-il aux charges de travail liées à l'IA et à l'apprentissage automatique ?

Le FinOps s'applique aux charges de travail liées à l'IA et à l'apprentissage automatique en étendant sa discipline fondamentale, à savoir la prise de décision tenant compte des coûts, aux modèles spécifiques de l'infrastructure d'IA. Le cadre FinOps a été conçu autour du principe selon lequel les décisions relatives aux dépenses cloud doivent être prises par des personnes qui comprennent à la fois les coûts et la valeur métier. Ce principe s'applique directement aux charges de travail d'IA, où le rapport coût-valeur est complexe et évolue rapidement.

En ce qui concerne plus particulièrement l'IA et l'apprentissage automatique, Pratiques FinOps aborder plusieurs types de coûts spécifiques que la gestion générale des coûts du cloud ne prend pas suffisamment en compte :

• Sessions d'entraînement génèrent des coûts de calcul ponctuels difficiles à prévoir sans une connaissance spécifique du modèle.
• Inférence à grande échelle génère des coûts permanents, liés à l'utilisation, qui nécessitent une adaptation continue des capacités et une planification rigoureuse des engagements.
• Expérimentation génère un volume important de charges de travail de courte durée, qu'il est facile de perdre de vue et dont le fonctionnement continu s'avère coûteux.
• Coûts liés au stockage des données et au traitement en continu Ils s'accumulent discrètement parallèlement aux coûts de calcul et sont souvent laissés de côté dans les discussions sur les coûts liés à l'IA.

Dans le domaine de l'IA, le FinOps consiste à mettre en place un rythme, une gouvernance et des outils permettant de rendre ces tendances de coûts visibles et de les relier aux décisions métier avant que les dépenses ne soient engagées, et non après. Cela implique également d'instaurer une dynamique dans laquelle les équipes financières, d'ingénierie et d'IA examinent ensemble les dépenses liées à l'IA de manière régulière, et non pas uniquement lorsqu'un problème survient.

Quels sont les défis spécifiques à la répartition des coûts liés aux charges de travail d'IA ?

Les difficultés liées à la répartition des coûts, propres aux charges de travail d'IA, découlent du mode d'utilisation de l'infrastructure d'IA. Contrairement aux applications traditionnelles, où les coûts sont attribués de manière relativement claire à des services ou à des équipes, les charges de travail d'IA partagent des clusters de calcul, réutilisent des ensembles de données d'un projet à l'autre et génèrent des coûts difficiles à attribuer à un résultat métier ou à un responsable en particulier.

Parmi les problèmes d'allocation les plus courants, on peut citer :

• Clusters à GPU partagés utilisé simultanément par plusieurs équipes, ce qui rend difficile l'identification des coûts propres à chaque tâche sans un système de marquage et de mesure très précis.
• Coûts liés à l'expérimentation alors que les sessions de formation qui ont échoué ou qui ont été abandonnées génèrent tout de même des coûts réels qui sont rarement imputés à une équipe ou à un projet.
• Utilisation des modèles de base lorsque les coûts liés aux API pour les modèles tiers, tels que ceux proposés par les principaux fournisseurs d'IA, sont répartis entre plusieurs applications et équipes, mais facturés de manière centralisée.
• Coûts liés au pipeline de données qui prennent en charge les charges de travail liées à l'IA mais relèvent de comptes d'infrastructure distincts, ce qui rend difficile le calcul du coût total de l'IA.

Pour relever ces défis, il faut mettre en place une stratégie de balisage spécialement conçue pour les charges de travail liées à l'IA, avec des balises qui identifient l'équipe, le projet, l'identifiant de l'expérience et l'objectif métier de chaque tâche. Sans cette structure, les données relatives aux coûts sont certes disponibles, mais il est impossible d'établir la responsabilité, ce qui est précisément ce qui rend inefficace la gouvernance des dépenses liées à l'IA.

Quelle équipe devrait approuver les budgets consacrés aux expériences d'IA ?

Les budgets consacrés aux expériences d'IA doivent être approuvés conjointement par le responsable de l'équipe d'IA ou de science des données et un représentant du service financier ou du service informatique chargé des finances, en tenant compte de l'avis de l'équipe d'ingénierie concernant les estimations de ressources. L'équipe d'IA maîtrise la justification scientifique et les besoins informatiques prévus. Le service financier s'assure que l'expérience s'inscrit dans le cadre budgétaire global. L'équipe d'ingénierie vérifie que le plan de ressources est réaliste.

Ce processus ne doit pas nécessairement être lent ni bureaucratique. Les organisations qui gèrent bien cet aspect mettent généralement en place des seuils d’approbation à plusieurs niveaux. Les petites expériences dont le coût reste inférieur à un plafond défini peuvent être approuvées directement par le chef d’équipe. Les expériences de moyenne envergure nécessitent l’aval du service financier. Les sessions de formation de grande envergure ou à durée indéterminée requièrent une analyse de rentabilité formelle établissant un lien entre les résultats attendus et l’investissement.

Le principe essentiel est que l'approbation ne doit pas être une étape unique. Les budgets consacrés à l'expérimentation doivent prévoir un mécanisme de contrôle permettant, si une session d'entraînement s'avère plus coûteuse que prévu, à l'équipe de suivre une procédure claire pour soit ajuster le périmètre du projet, soit demander une autorisation supplémentaire. Cela permet de tenir le service financier informé sans créer de frictions susceptibles de ralentir les travaux légitimes liés à l'IA.

Comment les organisations peuvent-elles mettre en place une gouvernance interfonctionnelle des dépenses liées à l'IA ?

Les organisations peuvent mettre en place une gouvernance transversale des dépenses liées à l'IA en instaurant un modèle opérationnel récurrent qui rassemble les équipes financières, techniques et d'IA autour de données, de décisions et de responsabilités partagées. La gouvernance n'est pas un simple document de politique générale. Il s'agit d'un ensemble de pratiques que les équipes suivent de manière cohérente, avec l'appui d'outils qui rendent les données relatives aux coûts accessibles et exploitables pour ces trois fonctions.

Les mesures concrètes à mettre en œuvre pour instaurer cette gouvernance sont les suivantes :

1. Définissez clairement la propriété. Désigner un responsable FinOps ou un responsable des coûts liés à l'IA qui assure la coordination entre les équipes et veille à ce que les analyses des dépenses soient effectuées dans les délais prévus.
2. Mettez en place un rythme régulier. Des réunions mensuelles ou bihebdomadaires au cours desquelles les équipes financières, d'ingénierie et d'IA examinent les mêmes données relatives aux coûts et prennent des décisions ensemble. Cela permet de remplacer les échanges ponctuels par un rythme structuré.
3. Mettre en place une taxonomie commune. Convenir d'une méthode commune pour classer, étiqueter et générer des rapports sur les charges de travail liées à l'IA, afin que chacun dispose de données cohérentes plutôt que de visions divergentes d'une même infrastructure.
4. Définissez clairement les droits de décision. Précisez qui est habilité à approuver quoi, à partir de quel seuil de dépenses, et quel est le processus d'escalade lorsque les dépenses s'écartent du budget prévu.
5. Établir un lien entre les dépenses en IA et la valeur ajoutée pour l'entreprise. Une gouvernance qui se contente de suivre les coûts sans les relier aux résultats perd rapidement toute crédibilité. Chaque initiative en matière d'IA devrait s'accompagner d'un objectif de valeur clairement défini, que les services financiers et les responsables métier puissent suivre parallèlement aux dépenses.

A Évaluation de la maturité FinOps constitue un point de départ utile pour les organisations qui souhaitent identifier les lacunes de leurs pratiques actuelles avant de concevoir un modèle de gouvernance. Il met en évidence les lacunes en matière de ressources humaines, de processus, d'outils et de qualité des données qui, sans cela, risqueraient de compromettre la structure de gouvernance avant même qu'elle ne soit mise en place.

Comment nous vous aidons à maîtriser les dépenses liées à l'IA dans les domaines de la finance et de l'ingénierie

Nous aidons les entreprises à passer d’une gestion réactive des coûts liés à l’IA à une gouvernance structurée et transversale qui rassemble les équipes financières, techniques et d’IA autour d’une responsabilité partagée. Notre approche est pragmatique et s’appuie sur les spécificités des dépenses liées à l’IA et au cloud dans les grandes entreprises.

En travaillant avec nous, vous pouvez vous attendre à :

• Un modèle de responsabilité clair qui définit qui est responsable de quoi, sans créer de frictions bureaucratiques susceptibles de ralentir les équipes d'IA
• Un cadre de gouvernance définissant les droits de décision, les seuils d'approbation et la fréquence des revues concernant les budgets alloués aux expériences d'IA et les charges de travail en production
• Cadres de marquage et d'allocation conçus pour les infrastructures d'IA, notamment les clusters de GPU partagés, les coûts liés aux API de modèles tiers et les dépenses liées aux pipelines de données
• Intégration entre vos données de coûts liées à l'IA et la gestion financière globale de l'informatique via Outils FinOps qui offre aux services financiers et techniques une vision unique et fiable
• Formation destinée aux équipes des services financiers, de l'ingénierie et de l'IA afin que la prise de décision tenant compte des coûts devienne une compétence partagée plutôt qu'une fonction spécialisée

Si vous souhaitez mettre en place un modèle de gouvernance des dépenses liées à l'IA qui fonctionne réellement au sein de vos équipes, contactez-nous pour discuter de la manière de s'y prendre.