Les acheteurs doivent comparer les fournisseurs d'IA en se basant sur le coût total d'une tâche menée à bien et acceptée, et non sur des prix symboliques ou des frais par poste. Divisez le coût total (utilisation, nouvelles tentatives, intégration, révision et assistance) par le nombre de tâches répondant à vos critères de qualité. Ce n'est qu'ainsi que les offres proposant différents modèles de tarification deviendront comparables.
Un tarif symbolique ou une rémunération par agent ne reflète guère le coût réel d’un résultat final. Les échecs, les vérifications manuelles et les frais généraux liés à la plateforme font varier le montant réel, souvent de manière significative. Les sections ci-dessous vous expliquent comment définir une tâche, repérer les modèles de tarification les plus complexes et établir une comparaison à laquelle votre équipe financière peut se fier.
Qu'est-ce qui est considéré comme une tâche d'IA achevée ?
Une tâche d'IA achevée est une unité de travail qui atteint un état final convenu et satisfait à vos critères d'acceptation sans nécessiter de correction manuelle supplémentaire. Une réponse rédigée que l'agent doit réécrire n'est pas considérée comme achevée. En revanche, un ticket d'assistance résolu qui reste fermé l'est.
Définissez ce que vous entendez par “ achèvement ” avant de demander un devis à un prestataire. Les prestataires comptabilisent souvent une “ action ”, une “ exécution ” ou une « conversation », et chacune de ces notions peut inclure un travail inachevé ou rejeté. Notez votre propre définition et évaluez chaque offre à l'aune de celle-ci.
Une définition exploitable comporte trois parties :
- Un début et une fin bien définis : ce qui déclenche la tâche et quelle sortie la clôt.
- Un test de réception : qui ou quoi vérifie le résultat, et quel est le seuil à partir duquel on considère que c'est “ suffisamment bon ” ?”
- Une fenêtre de durabilité : la durée de validité du résultat, par exemple un ticket qui ne peut pas être rouvert dans un délai de sept jours.
Chaque processus nécessite des critères de définition spécifiques. Un résumé de document, une modification de code et une décision relative à une demande de remboursement ont chacun leurs propres critères de qualité ; il convient donc de comparer les prestataires en se limitant à un seul type de tâche à la fois.
Quels sont les modèles de tarification de l'IA les plus difficiles à comparer ?
Les modèles de tarification par jetons, par poste et en fonction des résultats sont les plus difficiles à comparer, car chacun d'entre eux mesure un élément différent. Les jetons mesurent le volume des entrées et des sorties, les postes mesurent l'accès, et la tarification en fonction des résultats mesure les résultats obtenus. Aucun de ces modèles ne correspond directement à une tâche achevée sans hypothèses supplémentaires.
Voici pourquoi il est difficile de comparer directement ces différents modèles :
- Tarification des jetons : Le prix par token semble précis, mais le nombre de tokens consommés par une tâche varie en fonction de la longueur de la requête, de la taille du contexte, du modèle choisi et des étapes de raisonnement de l'agent. Deux fournisseurs proposant le même tarif au token peuvent présenter des coûts par tâche très différents.
- Tarifs par poste ou par abonnement : Un forfait masque les limites d'utilisation, les plafonds d'utilisation équitable et les frais de dépassement. Le coût par tâche diminue lorsque le volume augmente et augmente lorsque le taux d'adoption reste faible.
- Crédits ou packs d'actions : Les fournisseurs convertissent les activités en crédits selon des taux qui varient en fonction des fonctionnalités. Une tâche peut nécessiter plusieurs crédits.
- Tarification basée sur les résultats : Vous payez par dossier résolu ou par résultat accepté, ce qui semble simple. Le hic, c'est la manière dont le prestataire définit la réussite, et ce qu'il advient des échecs qu'il prend en charge.
Avant de comparer, convertissez tous les modèles dans la même unité : le coût par tâche acceptée. Tout ce que vous ne pouvez pas convertir représente un risque à prendre en compte dans la fixation du prix.
En quoi les tâches ayant échoué et celles qui ont fait l'objet d'une nouvelle tentative modifient-elles le coût réel ?
Les tâches ayant échoué et qui ont fait l'objet d'une nouvelle tentative augmentent votre coût réel par tâche achevée, car vous payez pour chaque tentative, et pas seulement pour celle qui aboutit. Si un agent a besoin de trois tentatives pour fournir un résultat accepté, votre coût effectif correspond approximativement au coût de ces trois tentatives, auquel s'ajoute le temps consacré à la vérification.
Un simple calcul arithmétique permet de s'en rendre compte : le coût effectif par tâche menée à bien correspond au coût total de toutes les tentatives divisé par le nombre de résultats acceptés. Un faible taux de réussite transforme un coût unitaire par tentative peu élevé en un résultat coûteux.
Trois facteurs font grimper les coûts :
- Nouvelles tentatives : des tentatives de répétition automatiques qui consomment des jetons ou des crédits à chaque fois.
- Escalades : les tâches que l'agent abandonne pour les confier à une personne, ce qui signifie que vous payez à la fois pour la tentative infructueuse de l'IA et pour le travail humain.
- Erreurs silencieuses : des résultats qui semblent aboutis mais qui s'avèrent défaillants par la suite, ce qui entraîne des retouches et a parfois des répercussions sur les clients.
Demandez à chaque prestataire quels sont ses taux de réussite pour des tâches similaires aux vôtres, et menez votre propre projet pilote pour les vérifier. Considérez les références fournies par les prestataires comme un point de départ, car vos données et vos cas particuliers présenteront des comportements différents.
Quels coûts cachés faut-il ajouter au prix par tâche ?
Les coûts cachés comprennent l'analyse humaine, l'intégration et la préparation des données, la surveillance, les tâches liées à la sécurité et à la conformité, ainsi que les frais liés à la plateforme ou à l'infrastructure qui entourent le modèle lui-même. Il faut ajouter ces éléments au prix annoncé par le fournisseur pour obtenir le coût total de possession réel de l'IA.
Passez en revue cette liste de contrôle pour chaque offre :
- Intervention humaine : le temps consacré à l'examen, à la validation ou à la correction des résultats.
- Intégration et configuration : connecter des systèmes, nettoyer les données et créer des invites ou des flux de travail.
- Observabilité et évaluation : les outils et le temps de travail du personnel nécessaires au contrôle de la qualité et de la dérive.
- Gouvernance : évaluations de sécurité, vérifications juridiques et exigences en matière d'audit.
- Dépenses liées au cloud : le stockage, les bases de données vectorielles, l'orchestration et les coûts de réseau qui évoluent en fonction de l'utilisation.
- Changement et formation : amener les équipes à utiliser l'outil de manière suffisamment efficace pour atteindre le volume promis.
Répartissez les coûts ponctuels sur le volume de tâches prévu et les coûts récurrents sur la période qu'ils couvrent. Cela permet d'éviter qu'un prestataire proposant des frais d'utilisation peu élevés mais dont la mise en place est coûteuse ne semble moins cher qu'il ne l'est en réalité.
Comment les acheteurs peuvent-ils établir une comparaison équitable du coût par tâche ?
Pour établir une comparaison équitable, il convient de tester chaque prestataire sur un même échantillon de tâches réelles, en appliquant une définition commune de la « réalisation » et en calculant le coût total par tâche acceptée. L'utilisation de données d'entrée identiques et de critères d'acceptation identiques permet d'éliminer la plupart des distorsions générées par les modèles de tarification.
Suivez les étapes suivantes :
- Choisissez un échantillon représentatif de tâches. Prévoyez des cas faciles, courants et difficiles dans des proportions réalistes.
- Définir les critères d'acceptation. Utilisez les mêmes évaluateurs et la même grille d'évaluation pour chaque fournisseur.
- Notez toutes vos consommations. Enregistrez les jetons, les crédits, les nouvelles tentatives, les remontées hiérarchiques et la durée des revues par tâche.
- Ajoutez-y les coûts cachés. Inclure la mise en place, l'outillage et la gouvernance, répartis par tâche.
- Calculer le coût par tâche acceptée. Divisez le coût total par le nombre de résultats ayant satisfait à l'examen.
- Tester à plein volume. Estimez votre volume mensuel prévisionnel, car les tarifs par poste et par forfait font évoluer la donne à mesure que l'utilisation augmente.
- Insistez sur les hypothèses. Réexaminez les chiffres en utilisant des taux de réussite plus faibles et une utilisation plus importante des jetons afin d'évaluer la sensibilité de chaque offre.
Comparez la fourchette obtenue, et non un simple chiffre. Un fournisseur dont le coût moyen est légèrement plus élevé, mais bien plus prévisible, pourrait mieux vous convenir qu'un autre dont le coût fluctue à chaque modification de la demande.
Comment les équipes financières et informatiques peuvent-elles maîtriser les coûts liés aux tâches d'IA ?
Les équipes financières et informatiques maîtrisent les coûts liés aux tâches d'IA en s'accordant sur une responsabilité partagée, en suivant le coût par tâche comme indicateur permanent et en l'analysant à intervalles réguliers. En l'absence de responsables clairement identifiés et d'un rythme décisionnel, les dépenses liées à l'IA augmentent plus rapidement que la valeur qu'elle génère.
Les mêmes problèmes qui se posent en matière de dépenses liées au cloud se retrouvent dans le domaine de l'IA : les équipes qui utilisent ces technologies voient rarement la facture, les rapports indiquent les dépenses sans susciter de décisions, et les services financiers, informatiques et d'ingénierie optimisent leurs activités selon des points de vue distincts. Notre Approche FinOps comble précisément ces lacunes, et ces principes s'appliquent également aux charges de travail liées à l'IA.
Mettez en place les pratiques suivantes :
- Marquer et attribuer l'utilisation de l'IA aux équipes, aux produits et aux cas d'utilisation qui en sont à l'origine.
- Fixer des objectifs de coût unitaire par type de tâche et signaler tout écart par rapport à ces coûts.
- Organiser une réunion d'évaluation régulière où les services financiers, informatiques et opérationnels décident ensemble des activités à optimiser, à développer ou à abandonner.
- Évaluez le rapport coût/performance et les risques, Les modèles moins chers ne sont donc pas nécessairement de moins bonne qualité.
- Lier les investissements dans l'IA aux résultats à l'intérieur de votre plus large gestion stratégique de portefeuille, de sorte que chaque initiative mérite sa place.
Automatisez l'attribution et la création de rapports dès que cela est possible. Les feuilles de calcul manuelles ne sont plus efficaces dès lors que plusieurs équipes exploitent plusieurs agents sur plusieurs modèles.
Comment le FinOps permet de maîtriser le coût de l'IA par tâche
Les dépenses liées à l'IA suivent le même schéma que celles liées au cloud : elles dépendent de l'utilisation, évoluent rapidement et nécessitent une prise en charge spécifique pour se transformer en valeur ajoutée pour l'entreprise. Nous vous aidons à appliquer les pratiques FinOps et de gestion technologique de l'entreprise (TBM) à l'IA, afin que vous puissiez visualiser, comparer et piloter le coût de chaque tâche réalisée.
Depuis 2009, nous aidons les entreprises à faire le lien entre l'informatique, les activités commerciales et la finance. Voici ce que cela implique pour votre comparaison des coûts liés à l'IA :
- Un modèle opérationnel FinOps qui définit la gouvernance, les rôles et les pouvoirs de décision en matière de dépenses liées à l'IA et au cloud.
- Des données fiables sur les coûts et leur répartition, pour que vous sachiez quelle équipe et quel cas d'utilisation génèrent chaque euro.
- Des indicateurs économiques par unité permettant de prendre des décisions, y compris le coût par résultat, auquel les services financiers et informatiques accordent tous deux leur confiance.
- Intégration du TBM qui relie les dépenses technologiques aux services, aux produits et aux résultats commerciaux.
- Un accompagnement flexible, d’une évaluation de votre niveau actuel de maturité jusqu’au FinOps as a Service et à une formation adaptée à chaque rôle.
Nos clients ont réalisé jusqu’à 30 % d’économies sur leurs dépenses liées au cloud, et nous appliquons la même approche pragmatique et axée sur la valeur aux coûts liés à l’IA. Si vous recherchez une méthode équitable et rigoureuse pour comparer les fournisseurs d’IA, contactez-nous et nous vous aiderons à le mettre en place.