Comment mesure-t-on et améliore-t-on la précision des prévisions basées sur l'IA ?

On mesure la précision des prévisions basées sur l'IA en comparant les valeurs prédites aux résultats réels à l'aide d'indicateurs tels que l'erreur absolue moyenne (MAE), l'erreur absolue moyenne en pourcentage (MAPE), l'erreur quadratique moyenne (RMSE) et en suivant l'évolution du biais au fil du temps. Le choix de l'indicateur approprié dépend de la nature de vos données et de la manière dont vous pondérez les erreurs. L'amélioration de la précision nécessite à la fois une meilleure qualité des données, la validation des modèles et un suivi régulier des performances. Cet article aborde les questions les plus importantes concernant la mesure et l'amélioration de la précision des prévisions basées sur l'IA.

Quels indicateurs sont utilisés pour évaluer la précision des prévisions basées sur l'IA ?

Les indicateurs les plus couramment utilisés pour mesurer la précision des prévisions basées sur l'IA sont l'erreur absolue moyenne (MAE), l'erreur absolue moyenne en pourcentage (MAPE), l'erreur quadratique moyenne (RMSE) et le biais. Chaque indicateur rend compte d'un aspect différent de l'écart entre les prédictions et les valeurs réelles ; c'est pourquoi la plupart des équipes en suivent plusieurs. Le choix de l'indicateur doit refléter le coût commercial des différents types d'erreurs.

• MAE (erreur absolue moyenne) : Différence absolue moyenne entre les valeurs prévues et les valeurs réelles. Facile à interpréter et peu sensible aux valeurs aberrantes.
• MAPE (erreur absolue moyenne en pourcentage) : Exprime l'erreur sous forme de pourcentage des valeurs réelles, ce qui permet de comparer la précision entre différentes échelles.
• RMSE (erreur quadratique moyenne) : Il pénalise davantage les erreurs importantes que l'erreur moyenne absolue (MAE), ce qui le rend utile lorsque les écarts importants ont un coût particulièrement élevé.
• Biais de prévision : Permet de déterminer si un modèle a tendance à surestimer ou à sous-estimer systématiquement les valeurs. Une MAE faible associée à un biais élevé indique que le modèle se trompe systématiquement dans un sens.
• Signal de suivi : Il surveille l'erreur cumulative de prévision au fil du temps afin de détecter à quel moment un modèle s'écarte de la réalité.

Dans le cadre de prévisions financières, telles que prévision des coûts liés au cloud, le MAPE est souvent privilégié car il évolue naturellement en fonction du volume des dépenses. Cependant, lorsque des valeurs aberrantes entrent en jeu, comme des pics de coûts imprévus, le RMSE fournit un signal plus sensible. Associez toujours les indicateurs de précision à une vérification des biais afin de vous assurer que votre modèle n'induit pas systématiquement les décideurs en erreur.

Pourquoi les modèles de prévision basés sur l'IA perdent-ils en précision au fil du temps ?

Les modèles de prévision basés sur l'IA perdent en précision au fil du temps, principalement en raison de la dérive des données et de la dérive conceptuelle. La dérive des données se produit lorsque les propriétés statistiques des données d'entrée changent, par exemple en raison de nouveaux comportements de consommation ou de modifications des infrastructures pour lesquelles le modèle n'a jamais été entraîné. La dérive conceptuelle se produit lorsque la relation sous-jacente entre les entrées et les résultats évolue, rendant les tendances historiques moins prédictives du comportement futur.

Plusieurs facteurs accélèrent cette dégradation :

• Évolution du contexte économique : La croissance de l'entreprise, les restructurations ou le lancement de nouveaux produits modifient les schémas appris par le modèle.
• Évolution technologique : Les migrations vers de nouveaux fournisseurs de services cloud, vers de nouveaux types de services ou les changements d'architecture introduisent des variables que le modèle n'a pas encore rencontrées.
• Variations saisonnières ou cycliques : Si les données d'entraînement n'ont pas permis de saisir suffisamment de cycles saisonniers, la précision diminue lorsque ces cycles se reproduisent différemment.
• Modifications apportées au pipeline de données : Toute modification apportée à la manière dont les données d'entrée sont collectées, étiquetées ou agrégées peut altérer de manière imperceptible les données d'entrée du modèle.

Concrètement, cela signifie que la précision d'un modèle n'est pas une propriété figée que l'on obtient une fois pour toutes. Elle nécessite un suivi continu. Un modèle qui fonctionnait bien au moment de son déploiement peut, à l'insu de tous, perdre de sa fiabilité sans présenter de défaillance visible, ce qui rend indispensable une validation régulière par rapport aux résultats réels.

Comment valider une prévision générée par l'IA avant de s'en servir pour prendre des décisions ?

Pour valider une prévision générée par l'IA avant de l'utiliser dans le cadre de prises de décision, il convient de la tester sur un ensemble de données de validation, de comparer les prédictions aux valeurs réelles connues, de vérifier l'absence de biais systématique et de la soumettre à des tests de résistance sur des cas limites. La validation doit avoir lieu à la fois avant le déploiement et de manière continue pendant l'exploitation, car un modèle qui passe la validation initiale peut tout de même voir ses performances se dégrader lorsqu'il est confronté à la variabilité du monde réel.

Étapes de validation avant le déploiement

Avant de mettre un modèle de prévision en production, appliquez les méthodes de validation suivantes :

• Répartition entre les données d'entraînement et de test : Entraînez le modèle sur des données historiques, puis évaluez-le sur une période de validation distincte qu'il n'a jamais vue auparavant.
• Validation « walk-forward » : Simulez les performances que le modèle aurait pu obtenir dans des fenêtres temporelles séquentielles, ce qui est plus réaliste pour la prévision de séries chronologiques qu'une simple division entre données d'entraînement et données de test.
• Analyse des biais : Vérifiez si les erreurs sont réparties de manière aléatoire ou si elles se concentrent autour de conditions, de périodes ou de plages de valeurs d'entrée spécifiques.
• Tests de sensibilité : Modifiez les valeurs des variables clés pour observer la réaction du modèle. Une sensibilité excessive à des changements mineurs constitue un signal d'alerte.

Validation opérationnelle en cours

Une fois le système déployé, comparez régulièrement les prévisions aux résultats réels. Définissez des seuils d'alerte pour les cas où les taux d'erreur dépassent les limites acceptables. Consignez chaque cas où la prévision s'est révélée nettement erronée et identifiez-en la cause profonde, qu'il s'agisse d'un problème lié aux données, d'une limite du modèle ou d'un véritable changement dans l'environnement sous-jacent.

Quelles sont les causes d'une faible précision des prévisions générées par l'IA ?

La faible précision des prévisions issues de l'IA est le plus souvent due à des données d'entraînement de mauvaise qualité, à une ingénierie des caractéristiques insuffisante, à un surapprentissage par rapport aux tendances historiques ou à un décalage entre les hypothèses du modèle et les dynamiques réelles qu'il tente de prédire. Dans la pratique, les problèmes liés aux données en sont la cause la plus fréquente.

Parmi les causes profondes les plus fréquentes, on peut citer :

• Données incomplètes ou incohérentes : Les lacunes, les doublons ou les incohérences dans le balisage des données d'apprentissage conduisent à des modèles qui apprennent des schémas erronés.
• Manque de profondeur historique : Les modèles entraînés sur une période historique trop courte ne parviennent pas à détecter les tendances saisonnières, cycliques ou structurelles.
• Variables pertinentes manquantes : Si un facteur clé déterminant le résultat n'est pas pris en compte en tant que variable, le modèle compense en utilisant des variables de substitution dont la pertinence s'estompe avec le temps.
• Surapprentissage : Un modèle trop complexe mémorise le bruit présent dans les données d'entraînement au lieu d'apprendre des modèles généralisables, et obtient de mauvais résultats sur de nouvelles données.
• Cibles de prédiction mal définies : L'ambiguïté quant à ce que le modèle prévoit exactement, par exemple entre les dépenses brutes et les dépenses nettes après remises, entraîne une imprécision structurelle dès le départ.

Dans la gestion financière dans le cloud, la mauvaise qualité des données est l'une des causes les plus courantes d'inexactitudes dans les prévisions. Lorsque la répartition des coûts est incomplète, que les ressources ne sont pas identifiées ou que les données de refacturation sont incohérentes, le modèle fonctionne dès le départ avec une image déformée de la réalité.

Comment améliorer la précision des prévisions générées par l'IA sans réentraîner le modèle ?

Il est possible d’améliorer la précision des prévisions générées par l’IA sans recourir à un réentraînement, en améliorant la qualité et l’exhaustivité des données d’entrée, en ajustant les corrections de post-traitement pour tenir compte des biais connus, en ajoutant un jugement humain comme couche de contournement pour les anomalies connues, et en renforçant la boucle de rétroaction entre les résultats des prévisions et les résultats réels. Ces interventions permettent de remédier aux symptômes de la dégradation du modèle tout en gagnant du temps avant qu’un cycle complet de réentraînement ne devienne nécessaire.

Parmi les approches pratiques, on peut citer :

• Correction de la qualité des données : Résolvez les problèmes liés aux données en amont, tels que les balises manquantes, une répartition des coûts incohérente ou des retards dans l'ingestion des données. Des données d'entrée plus propres permettent souvent de retrouver un niveau de précision significatif sans avoir à modifier le modèle.
• Correction du biais : Si le modèle présente systématiquement des prévisions trop élevées ou trop faibles d'une ampleur mesurable, appliquez un facteur d'étalonnage aux résultats à titre de solution provisoire.
• Enrichissement des fonctionnalités : Ajoutez de nouveaux signaux d'entrée, tels que des événements du calendrier d'entreprise, des facteurs de coût connus ou des indicateurs opérationnels, qui aident le modèle à mieux interpréter la situation actuelle.
• Mélange d'ensembles : Combiner les résultats du modèle d'IA avec une référence statistique plus simple. Lorsque le modèle d'IA s'écarte, le modèle statistique sert de point d'ancrage stabilisateur.
• Interventions manuelles : Permettre aux experts métier de signaler et d'ajuster les prévisions lorsqu'ils disposent d'informations auxquelles le modèle n'a pas accès, comme une migration d'infrastructure prévue ou un nouveau contrat avec un fournisseur.

Quand faut-il réentraîner ou remplacer un modèle de prévision basé sur l'IA ?

Il convient de réentraîner un modèle de prévision basé sur l'IA lorsque les indicateurs de précision se détériorent au-delà d'un seuil acceptable, lorsqu'un changement structurel significatif est intervenu dans l'environnement sous-jacent, ou lorsque les erreurs du modèle présentent un biais systématique plutôt qu'une distribution aléatoire. Le remplacement, plutôt que le réentraînement, s'impose lorsque l'architecture du modèle est fondamentalement inadaptée à la tâche de prédiction actuelle.

Parmi les facteurs spécifiques justifiant une reconversion professionnelle, on peut citer :

• Les taux d'erreur dépassent systématiquement un seuil prédéfini sur plusieurs périodes d'évaluation.
• Un changement majeur est survenu au niveau des activités ou des technologies, qui n'est pas pris en compte dans les données de formation actuelles.
• L'analyse des biais montre que le modèle présente une erreur systématique dans un sens donné sur plusieurs périodes.
• De nouvelles sources de données ou fonctionnalités sont désormais disponibles, qui permettraient d'améliorer considérablement la qualité des prévisions

Le remplacement est la bonne décision lorsque le réentraînement ne permet plus d'améliorer les performances, soit parce que les hypothèses fondamentales du modèle ne correspondent plus à la réalité, soit parce qu'une approche de modélisation fondamentalement différente, telle que le passage d'un modèle de régression à une approche de « gradient boosting », permettrait de mieux rendre compte de la dynamique actuelle.

La règle pratique consiste à définir à l'avance les seuils déclenchant un réentraînement plutôt que de réagir à des défaillances visibles. En effet, lorsque les erreurs d'un modèle deviennent évidentes pour les parties prenantes, la qualité des décisions peut déjà avoir été compromise.

Comment nous vous aidons à gérer la précision des prévisions basées sur l'IA dans le cadre de la gestion financière dans le cloud

La précision des prévisions dans le domaine de la gestion financière dans le cloud repose sur les mêmes principes fondamentaux que tout défi de prévision basé sur l'IA : des données fiables, une responsabilité clairement définie et une boucle de rétroaction structurée entre les prévisions et les résultats. C'est précisément ce que nous aidons les organisations à mettre en place grâce à notre pratique FinOps.

En collaborant avec nous, vous bénéficiez :

• Des données fiables sur les coûts comme base : Nous mettons en place une répartition complète des coûts, un étiquetage cohérent et des flux de données fiables, afin que vos modèles de prévision s'appuient sur des données précises plutôt que sur une vision faussée des dépenses liées au cloud.
• Processus structurés de prévision et de budgétisation : Nous mettons en place des cycles décisionnels réguliers qui permettent de comparer les prévisions aux résultats réels, d'identifier les écarts et de mettre en œuvre des mesures correctives, et pas seulement d'assurer une meilleure visibilité.
• Gouvernance transversale : Nous harmonisons les activités financières, informatiques et d'ingénierie autour d'hypothèses prévisionnelles communes et d'une responsabilité partagée, afin que les erreurs soient détectées et expliquées plutôt que passées sous silence.
• Outils disponibles via Apptio Cloudability : Nous mettons en œuvre et configurons des outils FinOps qui fournissent les indicateurs de précision des prévisions et les analyses d'écarts dont vos équipes ont besoin pour agir en toute confiance.
• Intégration avec TBM : Nous établissons un lien entre les prévisions de coûts liés au cloud et les décisions d'investissement technologique plus générales, de sorte que la précision des prévisions se traduise directement par de meilleures décisions commerciales.

Si vous souhaitez passer d'estimations de coûts du cloud peu fiables à des prévisions auxquelles vos dirigeants peuvent se fier, contactez-nous pour discuter de la manière de s'y prendre.