Pour établir des prévisions de coûts distinctes pour différents cas d’utilisation de l’IA, vous devez identifier les facteurs de coût spécifiques à chaque cas d’utilisation et élaborer des modèles individuels qui reflètent la manière dont chacun d’entre eux consomme des ressources de calcul, des données et des ressources humaines. Un budget IA unique et consolidé masque la destination réelle des fonds et rend pratiquement impossible l’optimisation des dépenses ou la justification des décisions d’investissement. Les sections ci-dessous passent en revue les questions clés auxquelles vous devez répondre pour établir des prévisions à la fois précises et exploitables.
Pourquoi les différents cas d'utilisation de l'IA nécessitent-ils des modèles de coûts distincts ?
Les différents cas d'utilisation de l'IA nécessitent des modèles de coûts distincts, car ils consomment des ressources de manière fondamentalement différente, à des échelles différentes et avec des évolutions de coûts différentes au fil du temps. Une API d'inférence destinée aux clients, un outil interne de synthèse de documents et un environnement d'expérimentation en science des données présentent chacun des schémas de calcul, des besoins en stockage et des frais généraux liés aux équipes distincts. Les regrouper dans une seule prévision donne des chiffres qui ne sont précis pour aucun d’entre eux.
La raison principale justifiant la séparation des modèles de coûts est la responsabilisation. Lorsque les coûts liés à l’IA sont regroupés, personne ne peut déterminer quel cas d’utilisation est à l’origine des dépassements budgétaires ou génère de la valeur. Cela reflète un problème plus général dans la gestion financière du cloud : les données relatives aux coûts sont visibles, mais il est impossible d’établir qui en est responsable. Sans modèle spécifique à chaque cas d’utilisation, il est impossible de prendre des décisions éclairées concernant la mise à l’échelle, l’abandon ou la poursuite des investissements dans une initiative d’IA donnée.
Des modèles distincts reflètent également des profils de risque différents. Un modèle d'IA en production traitant les transactions des clients comporte un risque financier s'il affiche des performances insuffisantes ou connaît une croissance imprévue. Une expérience de R&D, en revanche, doit être limitée dans le temps et soumise à un plafond budgétaire. Les traiter de la même manière dans une prévision crée des attentes budgétaires trompeuses de part et d'autre.
Quels facteurs de coût chaque prévision relative à un cas d'utilisation de l'IA doit-elle inclure ?
Chaque prévision relative à un cas d'utilisation de l'IA doit inclure les coûts de calcul, les coûts de stockage et de transfert des données, les coûts d'entraînement et de réentraînement des modèles, les coûts d'inférence, les frais de licence ou d'API, ainsi que le coût alloué au temps de travail des équipes d'ingénierie et de science des données. Le poids spécifique de chaque facteur varie considérablement selon le type de cas d'utilisation, c'est pourquoi il est important d'élaborer une prévision sur mesure pour chacun d'entre eux.
Voici les principaux facteurs de coût à prendre en compte dans tout modèle de coûts lié à un cas d'utilisation de l'IA :
- Calcul : Heures de GPU ou de CPU pour les sessions d'entraînement, le réglage fin et l'inférence, y compris la capacité inutilisée et les engagements relatifs aux instances réservées
- Stockage et transfert des données : Ensembles de données d'entraînement, bases de données vectorielles, artefacts de modèles et coût du transfert de données entre les services
- Apprentissage et réapprentissage des modèles : Coûts ponctuels et récurrents liés aux cycles de formation, y compris les essais infructueux ou exploratoires
- Conclusion : Le coût par prédiction ou par appel d'API, calculé en fonction du volume prévu et des exigences en matière de latence
- API de modèles tiers : Frais calculés au jeton ou à l'appel pour des modèles tels que GPT-4 ou Claude lorsque vous faites appel à des prestataires externes
- Capital humain : Temps consacré par le data scientist, l'ingénieur en apprentissage automatique et l'équipe DevOps à la mise en place, à la maintenance et au suivi du cas d'utilisation
- Outillage et plateforme : Plateformes MLOps, outils de suivi des expériences, services de surveillance et infrastructure d'orchestration
Pour que la budgétisation des cas d'utilisation de l'IA soit pertinente, il faut estimer non seulement la consommation actuelle, mais aussi l'évolution de chaque facteur. Les coûts d'inférence, par exemple, peuvent augmenter de manière non linéaire à mesure que l'adoption par les utilisateurs progresse, tandis que les coûts de formation peuvent être concentrés au début, puis devenir périodiques.
Comment établit-on une estimation des coûts pour un modèle d'IA destiné à la production ?
Une prévision des coûts pour un modèle d'IA en production doit s'articuler autour de trois phases : le coût d'exploitation de référence à l'échelle actuelle, un modèle d'évolution en fonction du volume permettant d'estimer les coûts à différents niveaux d'utilisation, et un budget de réentraînement et de maintenance tenant compte des mises à jour continues du modèle. Les modèles en production présentent des coûts récurrents prévisibles, mais comportent également un risque lié à l'évolution de l'échelle qui doit être modélisé de manière explicite.
Commencez par déterminer le coût unitaire de l'inférence. Calculez le coût par prédiction ou par appel d'API selon la configuration actuelle de votre infrastructure, puis multipliez ce chiffre par le volume d'utilisation prévu sur des horizons mensuels, trimestriels et annuels. Vous obtiendrez ainsi une prévision fondée sur la demande plutôt qu'une hypothèse budgétaire forfaitaire.
Ensuite, intégrez des cycles de réentraînement. Les modèles de production perdent en précision au fil du temps à mesure que les distributions des données évoluent ; vos prévisions doivent donc inclure les coûts liés aux réentraînements périodiques. Estimez la fréquence des réentraînements en fonction du type de modèle et des besoins de l'entreprise, puis attribuez des coûts de calcul à chaque cycle.
Enfin, il convient de prendre en compte les frais liés à la plateforme et aux coûts opérationnels. Les outils de surveillance, l’infrastructure d’alerte, la maintenance des pipelines de données et le temps de travail des ingénieurs nécessaire au bon fonctionnement d’un système de production constituent des coûts réels qui sont souvent sous-estimés dans les analyses de coûts technologiques. Il est préférable de les intégrer explicitement plutôt que de les inclure dans un poste général de frais informatiques.
Comment estimez-vous les coûts liés aux expérimentations en IA et aux cas d'utilisation en R&D ?
Pour estimer les coûts liés aux expérimentations en IA et aux cas d'utilisation en R&D, il convient d'adopter une approche limitée dans le temps et plafonnée en termes de budget, plutôt qu'un modèle basé sur le volume. Les résultats de la R&D étant incertains, la prévision doit définir une enveloppe budgétaire maximale pour une période donnée, assortie de points de contrôle clairs à partir desquels vous déciderez de poursuivre, de réorienter ou d'arrêter l'expérimentation.
La structure la plus utile pour une prévision d'expérimentation en IA comprend :
- Définir la portée et la durée de l'expérience : Définissez une durée précise, par exemple un sprint de six semaines ou un cycle d'exploration trimestriel, et adaptez les ressources informatiques en conséquence.
- Estimer la consommation de ressources de calcul par exécution d'expérience : Utilisez les données historiques issues d'expériences similaires ou de tests de référence pour déterminer le nombre d'heures de GPU et l'espace de stockage nécessaires par tentative.
- Budget prévu en cas d'échec : Par définition, l'expérimentation engendre des échecs. Vos prévisions doivent explicitement tenir compte d'un nombre réaliste de sessions d'entraînement infructueuses, et pas seulement du scénario réussi.
- Définir un seuil de coût : Définissez le montant maximal à partir duquel vous réévaluez l'expérience. Cela permet d'éviter que les budgets de R&D ne dérapent sans contrôle.
- Coûts d'outillage distincts : Les plateformes de suivi des expériences, les environnements de notebooks et les outils de gestion des versions des données doivent être réservés exclusivement à la R&D et ne doivent pas être partagés avec l'environnement de production.
Cette approche considère l'expérimentation en matière d'IA comme un portefeuille de projets à durée déterminée plutôt que comme un centre de coûts illimité, ce qui facilite considérablement la communication des décisions relatives à la planification des dépenses liées à l'IA au service financier et à la direction.
Quelle est la différence entre les approches FinOps et ITFM en matière de prévision des coûts liés à l'IA ?
Le FinOps et la gestion financière des technologies de l'information (ITFM) abordent la prévision des coûts liés à l'IA à différents niveaux de granularité et avec des objectifs de gouvernance distincts. Le FinOps se concentre sur l’optimisation en temps réel de la consommation du cloud, ce qui le rend utile pour gérer les coûts de calcul et de stockage des charges de travail d’IA au fur et à mesure de leur exécution. L’ITFM adopte une vision plus large, en reliant les dépenses liées à l’IA aux services métier, aux décisions de portefeuille et aux cycles de planification financière.
Dans la pratique, ces deux approches sont complémentaires plutôt que concurrentes. Gestion des coûts du cloud avec FinOps vous offre la visibilité opérationnelle nécessaire pour comprendre, en temps quasi réel, la consommation de chaque charge de travail d'IA, ce qui permet d'ajuster les ressources, de planifier les engagements et de détecter les anomalies au niveau de l'infrastructure. Elle répond à la question suivante : nos dépenses en ressources de calcul pour faire fonctionner notre IA sont-elles efficaces ?
La gestion des coûts de l'IA dans le cadre de l'ITFM répond à une autre question : cet investissement dans l'IA apporte-t-il de la valeur par rapport à son coût total, et comment se positionne-t-il par rapport à d'autres investissements technologiques en concurrence pour le même budget ? Les cadres ITFM tels que la gestion des activités technologiques (TBM) vous permettent de mettre en correspondance les coûts de l’IA avec les capacités métier ou les services qu’ils soutiennent, ce qui permet de présenter aux parties prenantes de l’entreprise une vision du coût par résultat plutôt qu’une simple facture d’infrastructure brute.
Pour les organisations qui exploitent plusieurs cas d'utilisation de l'IA à la fois dans le cloud et sur site, l'intégration de ces deux disciplines permet d'obtenir une vue d'ensemble la plus complète possible. Le FinOps optimise les dépenses ; l'ITFM les replace dans le contexte plus large du portefeuille informatique et de la stratégie d'entreprise.
Comment répartissez-vous les coûts liés à l'IA entre les différentes unités opérationnelles et comment les déclarez-vous à celles-ci ?
Pour imputer les coûts liés à l'IA aux unités opérationnelles et en rendre compte, vous devez mettre en place une stratégie de balisage et de taxonomie qui relie chaque ressource d'IA au cas d'utilisation qu'elle prend en charge, à l'équipe qui en est responsable et à l'unité opérationnelle qui en bénéficie. Sans un balisage cohérent au niveau de l'infrastructure, l'imputation des coûts se transforme en un exercice d'estimation manuel qui sape la confiance dans les chiffres.
Commencez par définir clairement un modèle de responsabilité. Pour chaque cas d'utilisation de l'IA, désignez un responsable métier chargé de rendre compte des coûts et de la valeur générée. Il ne s'agit pas uniquement d'une responsabilité du service informatique. L'unité opérationnelle qui tire profit d'un modèle de prévision de la demande ou d'un outil de service client basé sur l'IA doit participer activement aux discussions budgétaires.
Définissez ensuite votre méthode de répartition. En fonction du niveau de maturité de votre organisation, vous pouvez recourir à la répartition directe (les coûts associés à un cas d’utilisation spécifique sont directement imputés à l’unité opérationnelle responsable), à la répartition proportionnelle (les coûts d’infrastructure partagés sont répartis en fonction de la part d’utilisation), ou un modèle de « showback » (les coûts sont communiqués sans refacturation, ce qui permet de sensibiliser les utilisateurs et de favoriser un changement de comportement avant la mise en place d’une responsabilité financière complète).
Le reporting doit aller au-delà des simples totaux de coûts. Les unités opérationnelles doivent pouvoir visualiser le coût par résultat, par exemple le coût par inférence, le coût par utilisateur actif ou le coût par transaction commerciale traitée, afin d’établir un lien entre les dépenses liées à l’IA et la valeur générée. Cela permet de faire évoluer le débat sur la répartition des coûts de l’IA, qui passe d’un simple conflit budgétaire à une discussion sur la gestion de la valeur, ce qui est d’ailleurs sa place.
Comment nous vous aidons à établir des prévisions de coûts en matière d'IA
La gestion des coûts liés à l'IA dans le cadre de multiples cas d'utilisation, équipes et environnements constitue aujourd'hui l'un des défis les plus complexes en matière de gestion financière informatique. Nous aidons les organisations à mettre en place la gouvernance, les outils et les processus nécessaires pour y parvenir efficacement. Plus précisément, nous vous accompagnons dans les domaines suivants :
- Mise en œuvre de FinOps : Mise en place d'une visibilité et d'une répartition en temps réel des coûts cloud pour les charges de travail d'IA sur AWS, Azure et GCP, y compris l'attribution des coûts au niveau des conteneurs pour les pipelines d'apprentissage automatique
- Intégration entre TBM et FinOps : Relier les données relatives aux dépenses opérationnelles liées à l'IA à l'ensemble de votre portefeuille technologique, afin que la direction puisse évaluer les investissements dans l'IA au regard des autres priorités informatiques
- Cadres de répartition des coûts liés à l'IA : Concevoir des taxonomies de marquage, des modèles de propriété et des mécanismes de refacturation ou de « showback » qui assurent la transparence des coûts liés à l'IA pour les unités opérationnelles
- Accompagnement en matière de prévisions et de budgétisation : Élaborer des modèles de coûts par cas d'utilisation qui distinguent les charges de travail de production, d'expérimentation et de R&D, et qui s'adaptent à l'évolution de vos ambitions en matière d'IA
- Évaluation du niveau de maturité FinOps : Un point de départ structuré pour comprendre où en sont vos pratiques actuelles en matière de gestion financière dans le cloud et d'IA, et quelles priorités définir pour la suite
Si vous souhaitez passer d'une gestion fragmentée des dépenses liées à l'IA à une gestion structurée et transparente des coûts de l'IA, contactez-nous pour discuter de la manière de s'y prendre.