Les indicateurs d'évaluation des prestataires doivent figurer dans les contrats avec les fournisseurs lorsque vous êtes en mesure de les définir avec précision, de les mesurer de manière indépendante et de les associer à une conséquence. Les contrats les plus solides couvrent quatre domaines : l'exécution des tâches, les coûts et l'utilisation, les risques et la conformité, ainsi que le reporting. Chaque indicateur doit comporter une formule, une valeur de référence, un responsable de la mesure et une mesure corrective.
Les agents IA se comportent différemment des logiciels traditionnels. Leurs résultats varient, leurs coûts évoluent en fonction de l'utilisation et leur qualité change au fil du temps. Cet article répond à six questions qui vous aideront à rédiger des clauses contractuelles qui tiennent la route dans la pratique.
Comment transformer les indicateurs de performance des agents en accords de niveau de service (SLA) contraignants ?
Vous transformez les indicateurs des agents en SLA contraignants en définissant chacun d'entre eux à l'aide d'une formule de calcul, d'une source de données, d'une valeur de référence, d'un seuil cible et d'une conséquence en cas de non-respect. Un indicateur dépourvu de ces cinq éléments est un objectif, et non un engagement, et un fournisseur peut le contester.
Commencez par le résultat commercial que vous recherchez, et non par les fonctionnalités du modèle. Si vous payez pour le nombre de tickets d'assistance résolus, définissez le SLA en fonction de la qualité de la résolution. Ensuite, remontez en amont jusqu'aux indicateurs qui permettent de la démontrer.
Utilisez cette liste de contrôle pour chaque indicateur que vous élaborez :
- Définition : ce qui est considéré comme une tâche réussie, formulé de manière à ce que les deux parties l'interprètent de la même façon.
- Ensemble de test : un échantillon représentatif de tâches réelles, actualisé à une fréquence définie.
- Seuil : un seuil minimum, ainsi qu'un objectif à atteindre en matière de crédits de service ou de primes.
- Fenêtre de mesure : mensuellement ou trimestriellement, avec des règles concernant les valeurs aberrantes et les interruptions de service.
- Contrôle des modifications : un processus permettant de revalider les indicateurs lorsque le fournisseur met à jour le modèle sous-jacent.
Les mises à jour des modèles méritent une attention particulière. Un fournisseur peut remplacer le modèle sur lequel repose l'agent et modifier son comportement du jour au lendemain. Exigez un préavis et un nouveau test par rapport à votre référence avant la mise en production de toute modification.
Quels indicateurs de performance devraient être garantis par contrat ?
Concluez un contrat portant sur les indicateurs de performance qui reflètent les résultats concrets des tâches : taux de réussite des tâches, précision ou taux d'erreur sur un ensemble de tests défini, latence, disponibilité et taux de transfert vers des intervenants humains. Ces indicateurs permettent de déterminer si l'agent remplit sa mission, et chacun d'entre eux peut être évalué par rapport à une référence documentée.
Optez pour un ensemble restreint. Il est plus facile de mettre en œuvre cinq ou six indicateurs bien définis que vingt indicateurs vagues.
- Taux de réussite des tâches : la proportion de tâches effectuées correctement sans intervention humaine.
- Précision et taux d'hallucinations : la proportion de contenus comportant des erreurs factuelles ou des affirmations non étayées, évaluée par rapport à un ensemble de référence.
- Latence : le temps de réponse à la médiane et au 95e centile, car les moyennes masquent les valeurs aberrantes élevées.
- Disponibilité : temps de disponibilité de l'agent ainsi que de ses outils et sources de données connectés.
- Taux d'escalade et de repli : la fréquence à laquelle l'agent confie la tâche à un humain, et sa capacité à reconnaître ses propres limites.
Évitez de vous baser sur des scores de benchmarks génériques. Les benchmarks publics correspondent rarement à vos flux de travail. Évaluez vos propres tâches et mettez-vous d'accord sur la manière dont vous allez constituer et mettre à jour cet ensemble d'évaluation.
Comment les indicateurs de coût et d'utilisation doivent-ils être intégrés dans les contrats ?
Intégrez les indicateurs de coût et d'utilisation dans vos contrats en définissant l'unité de facturation, en fixant un coût par tâche réussie, en plafonnant les frais variables et en exigeant des rapports d'utilisation détaillés. Les agents consomment des jetons, des appels d'outils et de la puissance de calcul en quantités imprévisibles ; l'économie unitaire vous protège ainsi contre les mauvaises surprises sur votre facture.
Le coût par tâche de l'agent est l'indicateur le plus utile. Il établit un lien entre les dépenses et les résultats et vous permet de comparer les prestataires sur un pied d'égalité. Définissez-le clairement : il s'agit du montant total des frais divisé par le nombre de tâches répondant à la définition de la réussite, et non par le nombre de tâches tentées. Sinon, vous payez pour les échecs.
Veuillez inclure les termes suivants :
- Base de tarification : par tâche, par problème résolu, par jeton ou par poste, avec une explication claire des conditions qui donnent lieu à une facturation.
- Plafonds de dépenses et alertes : limites strictes et seuils de notification en cas de boucles incontrôlables ou de tentatives répétées.
- Garantie du meilleur prix : des limites concernant les hausses de tarifs lorsque le fournisseur modifie ses modèles ou ses niveaux de tarification.
- Transparence d'utilisation : des rapports détaillés par agent, par équipe et par cas d'utilisation, dans un format que vous pouvez importer dans votre propre base de données de coûts.
- Nouvelle tentative et gestion des échecs : une règle selon laquelle les appels infructueux ou répétés ne sont pas facturés au tarif plein.
Les dépenses liées à l'IA suivent le même schéma que celles liées au cloud : elles dépendent de l'utilisation, évoluent rapidement et sont difficiles à suivre. Si vous exploitez déjà un Pratique FinOps, étendez ses principes de répartition et de prévision à la consommation des agents afin que les clauses de votre contrat contribuent à une véritable maîtrise des coûts.
Quels indicateurs de risque et de conformité doivent figurer dans le contrat ?
Les indicateurs de risque et de conformité figurant dans un contrat d'agent doivent porter sur le traitement des données, les incidents de sécurité, les violations des politiques, la traçabilité, ainsi que les tests de partialité ou de sécurité. Ils transforment les promesses générales concernant une IA responsable en obligations mesurables, assorties de devoirs de déclaration et de sanctions.
Abordez les points suivants :
- Protection des données : le lieu où les données sont traitées et stockées, si vos données servent à entraîner les modèles du fournisseur, ainsi que les délais de conservation et de suppression.
- Incidents de sécurité : les délais de notification, tels que le nombre d'heures à compter de la découverte, ainsi que les informations que le fournisseur est tenu de communiquer.
- Infractions relatives aux glissières de sécurité : le taux de résultats qui enfreignent vos politiques en matière de contenu, de droits d'accès ou d'actions, comme par exemple lorsqu'un agent effectue une opération non autorisée.
- Traçabilité : les journaux des invites, des appels d'outils et des décisions, conservés pendant une période convenue et accessibles par vos soins.
- Harmonisation réglementaire : les obligations découlant des règles qui vous sont applicables, notamment le RGPD et la loi européenne sur l'IA, le cas échéant.
- Sous-traitants et fournisseurs de modèles : divulgation d'informations concernant des tiers, avec notification préalable en cas de modifications.
Les agents doivent agir, et pas seulement répondre. Définissez clairement les limites des autorisations et exigez du prestataire qu'il mesure et signale toute action sortant de ce cadre.
Qui mesure ces indicateurs et comment sont-ils vérifiés ?
Vous ne devez pas vous fier uniquement au fournisseur pour mesurer les indicateurs de performance des agents. Complétez les rapports fournis par le fournisseur par vos propres données de télémétrie et par des tests indépendants effectués régulièrement. Le contrat doit préciser la source de données faisant autorité, accorder des droits d'audit et définir une procédure de règlement des litiges en cas de chiffres contradictoires.
Un modèle de vérification viable comporte trois niveaux :
- Rapports des fournisseurs : tableaux de bord ou rapports réguliers qui respectent un format et des définitions d'indicateurs convenus.
- Mesure côté client : vos propres journaux, une analyse manuelle par échantillonnage et des cycles d'évaluation automatisés sur votre ensemble de test.
- Validation indépendante : un audit périodique, réalisé par un organisme tiers ou en interne, notamment après des modifications importantes apportées aux modèles.
Convenez à l'avance quelle source fera autorité en cas de divergence entre les chiffres. De nombreuses équipes considèrent leurs propres données de télémétrie comme la référence en matière de facturation et d'indicateurs de performance, et les journaux du fournisseur comme la référence pour les événements de sécurité. Organisez une réunion d'analyse mensuelle ou trimestrielle afin que les indicateurs débouchent sur des décisions, et ne se limitent pas à de simples rapports. Cela permet également gestion stratégique de portefeuille les informations dont elle a besoin pour décider quels investissements dans les agents développer, améliorer ou interrompre.
Quelles mesures correctives s'appliquent lorsque les indicateurs de performance des agents ne sont pas atteints ?
Les mesures correctives en cas de non-respect des indicateurs de performance des agents doivent s'appliquer par paliers : des crédits de service pour les écarts mineurs, un plan d'actions correctives en cas d'écarts répétés, et un droit de résiliation en cas de manquements graves ou persistants. Associez chaque mesure corrective à un indicateur et à un seuil spécifiques afin que leur application ne dépende pas d'une négociation.
Mettre en place une structure par paliers :
- Crédits de service : un pourcentage des frais remboursé lorsqu'un indicateur passe en dessous du seuil, calculé proportionnellement à l'ampleur de l'écart.
- Plan d'actions correctives : une mesure corrective écrite obligatoire assortie de délais à respecter en cas de manquement répété ou grave.
- Renforcement de la surveillance : des rapports plus fréquents ou un contrôle humain aux frais du fournisseur jusqu’à ce que les performances s’améliorent.
- Licenciement pour motif valable : le droit de se retirer sans pénalité en cas d'échecs répétés ou de manquement grave aux obligations de conformité.
- Responsabilité en cas de préjudice : des conditions claires concernant les pertes résultant de violations de données ou d'actes d'agents malveillants, plutôt que de se limiter à des crédits.
- Aide à la sortie : récupération des données, exportation des journaux et assistance à la migration pour vous permettre de changer de fournisseur.
Les crédits ne suffisent généralement pas à couvrir le coût réel lié à la défaillance d'un agent. Assurez-vous que les plafonds de responsabilité et les exclusions prévus dans le contrat-cadre ne viennent pas discrètement annuler les mesures de recours que vous avez négociées.
Comment nous vous aidons à évaluer les indicateurs contractuels des fournisseurs d'agents IA
Nous vous aidons à relier les clauses des contrats d'agent aux données financières et de valeur que vous gérez déjà. Nos consultants allient leurs compétences en gestion financière informatique, en FinOps et en gestion de portefeuille, afin que vos indicateurs soient liés aux coûts, aux résultats et à la responsabilité, au lieu de rester confinés dans un document juridique que personne ne lit.
Voici comment nous vous accompagnons :
- Nous définissons le coût par tâche et les indicateurs de rentabilité unitaire pour les services d'agents, afin que vous puissiez comparer les prestataires et suivre la valeur ajoutée.
- Nous développons un modèle d'imputation et de reporting qui transforme les données d'utilisation des fournisseurs en informations exploitables pour la prise de décision au sein des services financiers, informatiques et des achats.
- Nous mettons en place un dispositif de gouvernance, avec des responsables clairement identifiés, des fréquences de suivi et des pouvoirs de décision bien définis, afin que vous puissiez prendre les mesures nécessaires en cas de non-respect des indicateurs.
- Nous vous aidons à adapter les clauses contractuelles à vos pratiques en matière de dépenses liées au cloud et aux technologies, en nous appuyant sur notre expertise en FinOps et en gestion des activités technologiques.
- Nous vous aidons à évaluer vos investissements en agents par rapport aux priorités générales de votre portefeuille.
Souhaitez-vous disposer d'indicateurs contractuels que vous pouvez mesurer, vérifier et faire respecter ? N'hésitez pas à nous contacter et nous vous montrerons comment les mettre en place.