En quoi la capacité d'IA inutilisée influe-t-elle sur vos dépenses liées au cloud ?

Les capacités d'IA inutilisées font directement grimper vos dépenses cloud en générant des frais liés à des ressources de calcul inactives ou sous-utilisées. Les instances GPU provisionnées pour des sessions d'entraînement d'IA, les points de terminaison d'inférence laissés actifs entre deux requêtes et les réservations de mémoire surallouées génèrent toutes des coûts, qu'elles apportent de la valeur ou non. Les sections ci-dessous expliquent précisément comment cela se produit, pourquoi ce gaspillage est plus difficile à détecter que le gaspillage de ressources de calcul classique, et ce que vous pouvez faire pour y remédier.

Quels types de capacités d'IA restent inutilisées dans les environnements cloud ?

La capacité d’IA inutilisée dans les environnements cloud se répartit en plusieurs catégories distinctes, chacune présentant son propre profil de coûts. Les instances GPU et TPU réservées à l’entraînement des modèles mais laissées en marche entre deux tâches constituent la forme la plus coûteuse de capacité d’IA inutilisée. Les points de terminaison d’inférence qui restent actifs 24 heures sur 24 malgré un trafic faible ou intermittent, les allocations de mémoire surdimensionnées pour la mise en service de grands modèles linguistiques, ainsi que les instances réservées préachetées qui ne correspondent plus aux schémas réels de charge de travail contribuent tous à Coûts liés à l'IA dans le cloud qui ne génèrent aucun retour sur investissement.

Dans la pratique, les types de capacités d'IA inutilisées les plus courants sont notamment :

• Clusters d'entraînement en veille : Des clusters de GPU lancés pour l'entraînement de modèles qui continuent de fonctionner une fois la tâche terminée, souvent parce que l'automatisation de l'arrêt n'a pas été configurée
• Points de terminaison d'inférence surdimensionnés : Une infrastructure dimensionnée pour répondre à la demande de pointe, mais fonctionnant à une fraction de sa capacité pendant les heures creuses
• Environnements d'expérimentation abandonnés : Les charges de travail liées au développement et à l'expérimentation créées par les équipes de science des données et qui ne sont jamais mises hors service
• Capacité réservée sous-utilisée : Réservations de GPU dédiés ou d'accélérateurs IA achetées sur la base de prévisions qui ne se sont pas concrétisées
• Stockage orphelin lié aux pipelines d'IA : Les ensembles de données d'entraînement, les points de contrôle des modèles et les bases de données de caractéristiques conservés dans des niveaux de stockage coûteux bien après la fin d'un projet

Chacune de ces catégories correspond à une lacune différente en matière de responsabilité. Les groupes de formation relèvent souvent de la responsabilité des équipes d'ingénierie, l'infrastructure d'inférence de celle des équipes chargées des plateformes, et la capacité réservée de celle des services financiers ou des achats. Lorsqu'aucune équipe ne dispose d'une vue d'ensemble, le gaspillage s'accumule simultanément au sein de toutes ces équipes.

En quoi la capacité IA inutilisée fait-elle grimper les factures de cloud ?

La capacité IA inutilisée fait grimper les factures de cloud, car les fournisseurs de cloud facturent la capacité allouée, et non la valeur générée par cette capacité. Une instance GPU fonctionnant à un taux d’utilisation de 5% coûte autant qu’une instance fonctionnant à 95%. Les charges de travail d’IA sont particulièrement coûteuses à cet égard, car les instances GPU et TPU entraînent un surcoût significatif par rapport aux ressources de calcul standard, ce qui signifie que même de courtes périodes d’inactivité se traduisent par un gaspillage financier important.

Le mécanisme d'inflation s'applique à plusieurs niveaux. Tout d'abord, les heures d'utilisation des instances GPU sont facturées en continu dès le démarrage d'une instance et jusqu'à son arrêt, que le travail d'entraînement soit en cours d'exécution ou non. Une équipe qui provisionne un cluster au début d'un sprint et oublie de l'arrêter pendant le week-end peut générer des coûts équivalents à plusieurs cycles d'entraînement complets, sans aucun résultat en contrepartie.

D'autre part, les terminaux d'inférence déployés en tant que services fonctionnant en permanence génèrent des coûts 24 heures sur 24. Si une fonctionnalité d'IA traite principalement du trafic pendant les heures de bureau, un terminal fonctionnant la nuit et le week-end avec un taux d'utilisation quasi nul représente un pur déchets liés au cloud. Les politiques d'auto-scaling et le scaling planifié permettent de remédier à ce problème, mais ils nécessitent une configuration minutieuse que de nombreuses équipes négligent lors du déploiement initial.

Troisièmement, les remises liées à un engagement d’utilisation et l’achat d’instances réservées engendrent une autre forme d’inflation. Lorsque les modèles de charge de travail liés à l’IA évoluent, la capacité engagée qui ne correspond plus à l’utilisation réelle devient un coût irrécupérable. Les entreprises se retrouvent alors à payer à la fois la réservation inutilisée et la capacité à la demande supplémentaire nécessaire pour couvrir les charges de travail qui ont dépassé l’engagement initial.

Pourquoi le gaspillage lié à l'IA dans le cloud est-il plus difficile à détecter que le gaspillage informatique classique ?

Le gaspillage lié à l’IA dans le cloud est plus difficile à détecter que le gaspillage informatique classique, car les charges de travail d’IA présentent des schémas d’utilisation légitimement variables qui rendent difficile la distinction entre un comportement normal et un véritable gaspillage. Un cluster de GPU fonctionnant à un taux d’utilisation de 10% pendant une phase de prétraitement des données précédant une session d’entraînement apparaît, dans un tableau de bord des coûts, identique à un cluster qui a été abandonné. Les seuils d’utilisation standard utilisés pour optimiser la taille des ressources de calcul générales ne s’appliquent pas directement aux charges de travail d’IA sans contexte supplémentaire.

Plusieurs facteurs viennent aggraver cette difficulté de détection :

• Modèles « burst-and-idle » : Les charges de travail liées à l'entraînement des IA sont, par nature, caractérisées par des pics d'activité. Un cluster peut fonctionner à pleine capacité pendant des heures, puis rester inactif pendant l'évaluation des résultats. Les outils de surveillance qui mesurent l'utilisation à intervalles fixes peuvent donner une image totalement faussée de ces tendances.
• Propriété décentralisée : Les équipes de science des données, d'ingénierie du machine learning et de plateformes partagent souvent les mêmes comptes cloud. Les balises d'imputation des coûts sont fréquemment incomplètes ou incohérentes, ce qui rend difficile l'attribution des dépenses à des projets ou à des équipes spécifiques.
• Cycles d'expérimentation rapides : Le développement de l'IA implique de nombreuses expérimentations, au cours desquelles des environnements sont créés rapidement, mais ne sont pas toujours désactivés avec la même rapidité. Les expériences abandonnées s'accumulent sans que l'on s'en rende compte.
• Manque de transparence dans la tarification des services liés à l'IA : Les services d'IA gérés, les bases de données vectorielles et les plateformes d'hébergement de modèles présentent des structures tarifaires moins intuitives que celles des ressources de calcul classiques, ce qui rend la détection des anomalies plus difficile sans connaissances spécifiques au domaine.

Standard gestion des coûts du cloud Les outils conçus pour optimiser les ressources informatiques en général ne disposent souvent pas du contexte spécifique aux charges de travail nécessaire pour identifier avec précision le gaspillage lié à l’IA. En l’absence de pratiques FinOps spécifiquement adaptées aux caractéristiques des charges de travail liées à l’IA, la plupart des entreprises ne se rendent compte du gaspillage lié à l’IA dans le cloud que lorsqu’elles reçoivent une facture nettement plus élevée que prévu.

Quel est l'impact financier des capacités d'IA inutilisées à l'échelle de l'entreprise ?

À l'échelle de l'entreprise, la capacité d'IA inutilisée peut représenter une part importante des dépenses totales liées au cloud, en particulier pour les organisations qui se sont lancées de manière agressive dans l'IA sans mettre en place la gouvernance nécessaire. L'impact financier est d'autant plus important que l'infrastructure d'IA entraîne des coûts unitaires plus élevés que le calcul général, ce qui signifie que les mêmes lacunes de gouvernance qui entraînent un gaspillage modeste dans les charges de travail standard génèrent des pertes nettement plus importantes dans les environnements d'IA.

L'impact financier se fait sentir à plusieurs niveaux. Au niveau des coûts directs, les instances GPU inactives, les infrastructures d'inférence surdimensionnées et la capacité réservée sous-utilisée génèrent des frais qui ne produisent aucun résultat commercial mesurable. Au niveau indirect, le manque de visibilité sur les coûts liés à l’IA rend plus difficile la justification d’investissements continus, la négociation efficace avec les fournisseurs de cloud ou la prise de décisions éclairées quant à l’exécution des charges de travail sur site, dans une configuration hybride ou entièrement dans le cloud.

Pour les responsables informatiques des entreprises, la question de la responsabilisation revêt une importance tout aussi grande. Lorsque les coûts liés à l’IA dans le cloud ne sont pas imputés aux équipes et aux produits qui les génèrent, le service financier reçoit une facture consolidée qu’il ne peut pas analyser de manière pertinente. Cela crée des tensions entre les services informatiques, financiers et d'ingénierie, et empêche de mener le type d'analyse du rapport coût-performance qui permettrait à l'entreprise d'optimiser ses dépenses en IA sans compromettre ses capacités. Il en résulte que les coûts du cloud deviennent visibles, mais ne font pas l'objet d'une gestion active visant à maximiser la valeur métier.

Comment les pratiques FinOps peuvent-elles réduire le gaspillage lié aux charges de travail d'IA inutilisées ?

Les pratiques FinOps permettent de réduire le gaspillage lié aux charges de travail d’IA inutilisées en mettant en place des structures de responsabilité, des rythmes décisionnels et des processus d’optimisation qui transforment la visibilité des coûts en actions concrètes. Les outils de gestion des coûts du cloud peuvent vous montrer où vont les dépenses liées à l’IA, mais c’est le FinOps qui détermine qui est chargé d’agir sur la base de ces informations et à quelle vitesse les décisions sont prises. Pour les charges de travail d’IA en particulier, cela implique d’adapter les pratiques FinOps standard afin de tenir compte des pics d’activité et des périodes d’inactivité, de la répartition des responsabilités et des cycles d’expérimentation rapides qui caractérisent le développement de l’IA.

Structures de gouvernance et de responsabilité

Pour mettre en place des FinOps efficaces en matière d’IA, il faut commencer par attribuer clairement la responsabilité des charges de travail liées à l’IA au niveau des équipes et des produits. Cela implique de mettre en œuvre des politiques de balisage cohérentes qui associent chaque ressource d’IA à une équipe responsable, à un projet et à un objectif métier. Lorsqu’un cluster de GPU est inactif, une personne spécifique reçoit cette information et dispose de l’autorité et de la responsabilité nécessaires pour agir en conséquence. Sans ce niveau de responsabilisation, les données d’utilisation s’accumulent dans des tableaux de bord sans que personne n’en tire parti.

Processus d'optimisation pour les profils de déchets spécifiques à l'IA

Au-delà de la gouvernance, les pratiques FinOps pour les charges de travail d’IA comprennent l’ajustement de la taille des terminaux d’inférence en fonction des modèles de trafic réels, la configuration de l’arrêt automatisé des clusters d’entraînement une fois les tâches terminées, et la mise en place de revues régulières des engagements de capacité réservée par rapport aux prévisions actuelles de charge de travail. La mise à l'échelle planifiée des points de terminaison d'inférence traitant des modèles de trafic prévisibles permet d'éliminer une part significative des coûts liés à l'inactivité en dehors des heures de pointe, sans aucun impact sur les performances pendant les heures d'activité.

FinOps met également en place un rythme structuré pour l'examen des environnements d'expérimentation en IA. Plutôt que de compter sur chaque data scientist pour mettre hors service les ressources, un processus de balayage régulier identifie les environnements orphelins et procède soit à leur récupération, soit à leur transmission à l'équipe responsable pour qu'elle prenne une décision. À lui seul, ce processus permet de récupérer des dépenses non négligeables dans les organisations disposant de programmes actifs de développement en IA.

Quels indicateurs les responsables informatiques doivent-ils suivre pour gérer les dépenses liées à l'IA dans le cloud ?

Les responsables informatiques doivent suivre à la fois des indicateurs d’utilisation, d’allocation des coûts et de valeur afin de gérer efficacement les dépenses liées à l’IA dans le cloud. L’utilisation seule ne suffit pas, car un cluster de GPU fonctionnant à un taux d’utilisation de 80% lors d’une expérience à faible priorité peut s’avérer moins rentable qu’un cluster fonctionnant à un taux d’utilisation de 40% sur une charge de travail en production. Les indicateurs les plus pertinents sont ceux qui établissent un lien entre la consommation de ressources et les résultats opérationnels.

Parmi les indicateurs les plus utiles pour gérer les dépenses liées à l'IA dans le cloud, on peut citer :

• Taux d'utilisation du GPU et de l'accélérateur : Suivez l'utilisation des pistes par instance et par type de charge de travail, et pas seulement sous forme d'agrégat. Distinguez les charges de travail liées à l'entraînement, à l'inférence et au développement afin d'appliquer à chacune d'elles les seuils appropriés.
• Coût par cycle d'entraînement du modèle : La normalisation des coûts de formation en une mesure par exécution permet de suivre l'efficacité au fil du temps et d'identifier les moments où les coûts augmentent sans que la qualité du modèle ne s'améliore en conséquence.
• Coût d'inférence par requête : Pour les services d'IA en production, le suivi du coût par requête d'inférence permet de mettre en corrélation les dépenses d'infrastructure avec l'utilisation réelle et d'identifier les points de terminaison surdimensionnés.
• Heures d'inactivité des instances par équipe : Le fait de mesurer les heures d'inactivité des GPU et des TPU attribuées à des équipes spécifiques permet de responsabiliser ces dernières et de mettre en évidence des schémas de gaspillage qui peuvent être corrigés par des changements de processus ou par l'automatisation.
• Taux d'utilisation des capacités réservées : Suivez le pourcentage de capacité IA engagée qui est effectivement consommée. Un taux d'utilisation nettement inférieur à 100% indique un décalage entre les engagements et les schémas réels de charge de travail.
• Dépenses consacrées à l'IA en pourcentage des dépenses totales liées au cloud : Le suivi de ce ratio au fil du temps aide les responsables informatiques à déterminer si l'infrastructure d'IA se développe proportionnellement à l'utilisation globale du cloud ou si elle progresse plus rapidement, ce qui pourrait révéler des lacunes en matière de gouvernance.

Ces indicateurs sont particulièrement utiles lorsqu’ils sont analysés à intervalles réguliers par un groupe interfonctionnel réunissant les équipes financières, informatiques et d’ingénierie chargées des charges de travail liées à l’IA. Des rapports ponctuels, sans rythme décisionnel régulier, offrent une visibilité sans déboucher sur des actions concrètes, ce qui constitue l’un des principaux facteurs d’échec dans gestion des coûts du cloud programmes.

Comment nous vous aidons à gérer les capacités d'IA inutilisées et vos dépenses liées au cloud

Grâce à nos services FinOps, nous aidons les entreprises à passer d’une simple visibilité sur les coûts du cloud à une gouvernance active des charges de travail liées à l’IA. Plutôt que de nous contenter de vous fournir des tableaux de bord qui mettent en évidence le problème sans le résoudre, nous mettons en place un modèle opérationnel qui relie les données de coûts aux décisions. Plus précisément, nous vous aidons à :

• Évaluation du niveau de maturité FinOps : Nous évaluons vos capacités actuelles en matière de gestion financière dans le cloud, tant au niveau des ressources humaines que des processus, de la gouvernance et des outils, et nous identifions les domaines dans lesquels le gaspillage lié aux charges de travail de l'IA est le plus susceptible de se produire, ainsi que les raisons de ce phénomène.
• Cadres de responsabilité et de référencement : Nous concevons et mettons en œuvre des structures de répartition des coûts qui imputent les coûts liés au cloud IA aux équipes et aux produits qui les génèrent, ce qui permet de concrétiser les notions de responsabilité et d'obligation de rendre compte.
• Adaptation de la taille et optimisation des charges de travail d'IA : Nous identifions les points de terminaison d'inférence surdimensionnés, les clusters d'entraînement inactifs et les capacités réservées sous-utilisées sur AWS, Azure et GCP, puis nous mettons en place l'automatisation et les processus nécessaires pour y remédier.
• Rythmes réguliers de gouvernance : Nous mettons en place des rythmes décisionnels et des processus de révision qui garantissent que les analyses de coûts se traduisent par des mesures d'optimisation régulières plutôt que par des solutions ponctuelles.
• Intégration entre TBM et FinOps : Nous intégrons la gestion des coûts liés à l'IA dans le cloud à votre cadre global de gestion financière informatique, afin que les décisions relatives aux dépenses en matière d'IA soient prises en tenant compte du coût total de l'informatique et de la valeur ajoutée pour l'entreprise.

Si les capacités d'IA inutilisées font grimper vos dépenses liées au cloud et que vous n'êtes pas certain d'avoir une visibilité complète sur l'origine de ce gaspillage, contactez-nous afin de discuter de la manière dont nous pouvons vous aider à mettre en place les pratiques de gouvernance et d'optimisation qui vous permettront de maîtriser les coûts liés à l'IA dans le cloud.