Quelle est la différence de coût entre l'entraînement et l'inférence en IA ?

Sur la durée de vie d’un modèle, l’inférence IA coûte généralement plus cher que l’entraînement. L’entraînement représente une dépense ponctuelle ou périodique, tandis que l’inférence s’exécute en continu à chaque requête d’un utilisateur, générant un flux continu de coûts de calcul qui dépasse rapidement le coût initial de l’entraînement. L'écart entre ces deux catégories de coûts constitue l'une des dynamiques financières les plus importantes que les entreprises doivent comprendre avant de déployer l'IA à grande échelle. Ci-dessous, nous analysons le matériel spécifique, les facteurs d'évolutivité et les leviers d'optimisation qui déterminent chaque côté de l'équation.

Pourquoi, à long terme, l'inférence par IA coûte-t-elle souvent plus cher que l'apprentissage ?

À long terme, l'inférence IA coûte plus cher que l'entraînement, car ce dernier n'a lieu qu'une seule fois, tandis que l'inférence est effectuée des millions, voire des milliards de fois. L'entraînement d'un modèle de grande taille peut prendre plusieurs semaines et nécessiter d'importantes ressources de calcul, mais une fois terminé, ce coût est fixe. L’inférence, en revanche, s’exécute chaque fois qu’un utilisateur envoie une requête, effectue une demande de prédiction ou déclenche un workflow automatisé, transformant ainsi la puissance de calcul en une dépense opérationnelle récurrente qui évolue directement en fonction du taux d’adoption.

Les coûts s'accumulent rapidement. Un modèle dont l'entraînement a coûté plusieurs millions de dollars en ressources de calcul peut générer des coûts d'inférence dépassant ce montant en l'espace de quelques mois s'il dessert une large base d'utilisateurs. Contrairement à l'entraînement, qui peut être planifié et exécuté par lots pendant les heures creuses, l'inférence doit souvent répondre en temps réel, ce qui nécessite une infrastructure toujours active offrant des garanties de faible latence. C'est cette combinaison de volume, de fréquence et de contraintes de latence qui fait de l'inférence le principal facteur de coût pour la plupart des systèmes d'IA en production.

Quels sont les composants matériels qui déterminent le coût de l'entraînement des modèles d'IA ?

Le coût de l'entraînement des IA repose principalement sur des clusters de GPU haut de gamme, le plus souvent des accélérateurs NVIDIA A100 ou H100, ainsi que sur les interconnexions à haut débit et les systèmes de stockage nécessaires pour traiter efficacement des ensembles de données volumineux. Les charges de travail liées à l'entraînement sont très gourmandes en ressources de calcul mais prévisibles, ce qui les rend particulièrement adaptées aux grands clusters spécialement conçus à cet effet, capables de fonctionner pendant des jours, voire des semaines, sur une seule tâche.

Le coût total du matériel nécessaire à la formation dépend de trois facteurs qui s'articulent entre eux :

• Heures de GPU utilisées : Les modèles plus volumineux nécessitent davantage de passages sur un volume de données plus important, ce qui multiplie directement le temps d'exécution sur le GPU.
• Bande passante d'interconnexion : L'entraînement multi-GPU et multi-nœuds nécessite des interconnexions rapides, telles que NVLink ou InfiniBand, afin d'éviter les goulots d'étranglement qui gaspillent les cycles de calcul coûteux des GPU.
• Débit de stockage : Le chargement des données d'entraînement à une vitesse suffisante pour maintenir les GPU à pleine capacité nécessite un système de stockage distribué hautement performant, ce qui entraîne une augmentation des dépenses d'investissement et des coûts liés au cloud.

Dans les environnements cloud, les tâches d’entraînement sont généralement facturées à l’heure-GPU. Les entreprises qui effectuent des entraînements sur AWS, Azure ou GCP paient un supplément pour les instances d’accélérateurs les plus puissantes, et les pipelines d’entraînement inefficaces qui laissent les GPU inactifs entre deux lots entraînent un gaspillage direct de ces dépenses.

Quels sont les composants matériels qui déterminent le coût de l'inférence IA ?

Le coût de l'inférence IA dépend du matériel nécessaire pour fournir des prédictions à grande échelle avec une faible latence. Ce matériel peut inclure des GPU, des accélérateurs IA spécialisés, voire des CPU, en fonction de la taille du modèle et des exigences de débit. Contrairement à l'entraînement, le matériel d'inférence doit rester disponible en permanence, ce qui signifie que les entreprises paient pour cette capacité 24 heures sur 24, et non pas uniquement pendant une plage horaire définie pour l'exécution des tâches.

Le choix du matériel pour l'inférence implique de véritables compromis :

• Cartes graphiques : Flexible et puissant, mais coûteux à faire fonctionner en continu. Convient particulièrement aux grands modèles linguistiques ou aux modèles de vision qui nécessitent une puissance de calcul parallèle importante par requête.
• Accélérateurs IA sur mesure : Les puces spécialement conçues, telles que les TPU de Google ou les Inferentia d'AWS, offrent un meilleur rapport coût par inférence pour certaines charges de travail spécifiques, mais leur optimisation nécessite un travail d'ingénierie.
• Processeurs : Convient aux modèles de petite taille ou quantifiés, pour lesquels les exigences en matière de latence sont moins strictes et le débit modeste. Nettement moins cher à l'heure, mais plus lent par requête.

Le choix du matériel d'inférence a un impact direct et durable sur le gestion des coûts du cloud image, car l'infrastructure d'inférence fonctionne en continu en production, et non pas sous la forme d'une tâche limitée dans le temps.

Comment se comparent les coûts d'entraînement et d'inférence selon la taille des modèles ?

Les coûts d'entraînement et d'inférence évoluent tous deux en fonction de la taille du modèle, mais selon des modalités différentes. Le coût d'entraînement augmente à peu près proportionnellement au nombre de paramètres du modèle multiplié par la taille de l'ensemble de données d'entraînement. Le coût d'inférence augmente avec le nombre de paramètres devant être chargés et exécutés par requête, mais il dépend également du volume de requêtes, de la longueur du contexte et des exigences en matière de concurrence.

Pour les petits modèles comportant moins d'un milliard de paramètres, l'entraînement peut être suffisamment abordable pour être exécuté sur un seul nœud GPU, et l'inférence peut souvent être effectuée sur des instances CPU. L'écart de coût entre l'entraînement et l'inférence est relativement modeste à cette échelle.

Pour les grands modèles linguistiques comptant des dizaines ou des centaines de milliards de paramètres, la dynamique change considérablement. Le coût de l’entraînement peut atteindre des millions de dollars en ressources de calcul, mais le coût d’inférence par requête augmente également fortement, car chaque requête doit charger et traiter une grande partie de la matrice de poids du modèle. Lorsque le volume de requêtes est élevé, la facture liée à l’inférence peut dépasser le coût de l’entraînement en l’espace de quelques semaines après le lancement. C’est pourquoi les organisations qui exploitent des modèles à l’échelle de pointe investissent massivement dans des techniques d’optimisation de l’inférence telles que la quantification, la distillation et la mise en cache, qui sont abordées ci-dessous.

Quels sont les facteurs à l'origine d'une hausse inattendue des coûts d'inférence de l'IA ?

Les coûts liés à l'inférence IA augmentent de manière inattendue lorsque les habitudes d'utilisation, la complexité des requêtes ou la configuration de l'infrastructure évoluent d'une manière qui n'avait pas été anticipée lors de la planification des capacités. Parmi les facteurs déclencheurs les plus courants, on peut citer les hausses soudaines de la demande des utilisateurs, des séquences d'entrée ou de sortie plus longues que celles pour lesquelles le modèle avait été dimensionné, ainsi que des configurations d'auto-scaling qui provisionnent des instances GPU coûteuses plus rapidement que nécessaire.

Plusieurs facteurs spécifiques méritent d'être suivis de près :

• Croissance de la longueur du contexte : De nombreux modèles linguistiques de grande envergure facturent ou consomment des ressources de calcul proportionnellement au nombre de tokens traités. Si les utilisateurs envoient des requêtes plus longues ou si les conversations s'enrichissent de contexte au fil du temps, le coût par requête augmente sans que le nombre de requêtes ne change.
• Mise à l'échelle automatique non contrôlée : Les points de terminaison d'inférence dans le cloud qui s'adaptent automatiquement à la demande peuvent provisionner de grandes instances GPU lors des pics de trafic, puis ne pas parvenir à réduire leur capacité rapidement, laissant ainsi une capacité coûteuse inutilisée.
• Demandes redondantes ou en double : Les applications qui effectuent plusieurs appels d'API par action de l'utilisateur, ou qui ne disposent pas de mise en cache pour les requêtes répétées, multiplient les coûts d'inférence sans apporter de valeur ajoutée à l'utilisateur.
• Mises à jour des versions des modèles : Le passage à un modèle plus puissant ou plus performant en cours de déploiement augmente la puissance de calcul par requête sans pour autant améliorer la visibilité sur la facturation.

Ces pics sont particulièrement difficiles à détecter en l'absence de pratiques adéquates en matière d'étiquetage et d'affectation, car les coûts liés à l'inférence apparaissent souvent comme des dépenses non différenciées liées aux GPU ou aux API dans les tableaux de bord de facturation du cloud.

Comment les entreprises peuvent-elles réduire les coûts liés à l'inférence IA sans avoir à réentraîner les modèles ?

Les entreprises peuvent réduire considérablement les coûts d'inférence de l'IA sans avoir à réentraîner les modèles, en appliquant des techniques d'optimisation au niveau de la couche de service, notamment la quantification des modèles, la mise en cache des réponses, le regroupement des requêtes et l'adaptation de la taille de l'infrastructure d'inférence aux profils de charge de travail réels. Ces approches permettent de réduire le coût par requête sans modifier les poids du modèle ni nécessiter un nouveau cycle d'entraînement.

Parmi les techniques les plus efficaces, on peut citer :

• Quantification : La réduction de la précision numérique des poids du modèle, en passant d'une précision en virgule flottante de 32 ou 16 bits à des entiers de 8 bits, permet de réduire les besoins en mémoire et d'accélérer l'inférence, souvent avec un impact minime sur la qualité des résultats.
• Mise en cache des réponses : Enregistrer les résultats de requêtes courantes ou répétitives afin que les requêtes identiques soient traitées à partir du cache plutôt que de déclencher un nouvel appel d'inférence. Cette approche s'avère particulièrement efficace pour les cas d'utilisation présentant des schémas de requêtes prévisibles.
• Traitement par lots des requêtes : Regroupement de plusieurs requêtes d'inférence afin que le GPU les traite en parallèle plutôt que de manière séquentielle. Le traitement par lots améliore l'utilisation du matériel et réduit le coût par requête, au prix d'une légère augmentation de la latence.
• Distillation de modèles : Déployer un modèle plus petit, entraîné pour imiter le comportement d'un modèle plus grand. Bien que cela nécessite un certain effort d'entraînement, cette approche est bien moins coûteuse que l'entraînement du modèle d'origine et peut réduire la charge de calcul en phase d'inférence d'un ordre de grandeur.
• Adapter la taille des infrastructures : Adapter les types et les tailles d'instances aux besoins réels en matière de débit et de latence, plutôt que d'opter par défaut pour le GPU le plus puissant disponible. De nombreuses charges de travail d'inférence s'exécutent efficacement sur des instances plus petites ou basées sur un processeur.

Comment nous vous aidons à gérer vos coûts liés à l'IA et au cloud computing

La gestion des coûts liés à l'inférence IA relève avant tout de la gestion financière du cloud. Ces coûts sont dynamiques, répartis entre différentes équipes et difficiles à attribuer en l'absence d'une structure de gouvernance adaptée. C'est précisément dans ce domaine que nous aidons les organisations à développer les capacités dont elles ont besoin.

Grâce à notre Services FinOps, nous vous aidons à aller au-delà d'une simple visibilité sur les coûts du cloud pour passer à une gestion active des coûts qui englobe les charges de travail liées à l'IA ainsi que le reste de vos dépenses cloud. Plus précisément, nous vous aidons à :

• Répartir avec précision les coûts liés à l'inférence et à l'entraînement entre les équipes et les produits qui les génèrent, afin que les responsabilités soient clairement définies
• Identifier les possibilités d'optimisation des instances d'inférence GPU et CPU sur AWS, Azure et GCP
• Mettre en place un cycle décisionnel régulier réunissant les services financiers, informatiques et d'ingénierie afin d'examiner les dépenses liées à l'IA et de saisir les opportunités d'optimisation
• Intégrer les données relatives aux coûts de l'IA dans le cloud au sein d'un cadre plus large de gestion technologique de l'entreprise (Technology Business Management), afin que la direction puisse avoir une vision globale du rapport coût-valeur

Si votre entreprise développe ses charges de travail liées à l'IA et constate que les coûts d'inférence augmentent plus rapidement que prévu, contactez-nous afin de discuter de la manière dont nous pouvons vous aider à mettre en place la gouvernance et les outils nécessaires pour maîtriser ces coûts.