Avant de choisir un fournisseur d'agents IA, vous devez vous assurer qu'il vous fournisse cinq types d'éléments justificatifs : des mesures de performance sur vos propres tâches, une preuve de concept fonctionnelle, une documentation relative à la sécurité et à la conformité, des données transparentes sur les coûts et le retour sur investissement, ainsi que des références vérifiables. Ensemble, ces éléments permettent de distinguer les agents IA prêts à l'emploi des simples démonstrations soignées.
Il est essentiel de disposer de données probantes, car les agents d'IA agissent de manière autonome, traitent vos données et génèrent des coûts liés à l'utilisation qui augmentent avec le temps. Un processus structuré de diligence raisonnable vis-à-vis des fournisseurs d'IA vous aide à comparer ces derniers sur la base de faits concrets plutôt que sur leurs arguments commerciaux. Les sections ci-dessous indiquent les questions à poser et comment évaluer les réponses.
En ce qui concerne les coûts liés à ce processus, notre Approche FinOps offre un point de vue utile, car les charges de travail des agents se comportent de manière très similaire à celle d'autres services cloud basés sur la consommation.
Quels critères de performance permettent de distinguer les véritables agents d'IA des simples démonstrations ?
Les véritables agents IA affichent des résultats reproductibles et quantifiables sur des tâches correspondant à vos flux de travail, et non sur des scénarios de démonstration artificiels. Demandez les taux d'exécution des tâches, les taux d'erreur et d'« hallucinations », la latence et l'analyse des défaillances, le tout mesuré à partir de données réalistes. Un fournisseur incapable d'expliquer les causes des défaillances de son agent ne l'a pas testé correctement.
Les démos masquent les aspects complexes : les données d'entrée désordonnées, les cas limites et les longues chaînes d'actions. Demandez les éléments suivants pour aller au-delà de ces apparences :
- Méthodologie des tests de performance : comment le fournisseur a constitué l'ensemble de test, qui a annoté les résultats, et si les données de test ont été conservées séparément des données d'apprentissage ou de réglage.
- Indicateurs au niveau des tâches : taux d'achèvement, précision, taux de transfert vers des intervenants humains et nombre moyen d'étapes par tâche.
- Documentation relative aux défaillances : des exemples d'actions inappropriées ou dangereuses, ainsi que les mesures de prévention qui permettent désormais de les éviter.
- Données relatives à la cohérence : les résultats obtenus lors d'exécutions répétées, car les agents se comportent souvent différemment face à des entrées identiques.
- Télémétrie de production : temps de disponibilité, centiles de latence et historique des incidents issus des déploiements en production.
Il convient de considérer avec prudence tout chiffre isolé concernant la précision d'un titre. Demandez-vous quelles tâches il couvre, lesquelles il exclut, et comment un évaluateur humain a noté le résultat.
Que doit démontrer une validation de principe avant la signature ?
Une démonstration de faisabilité doit montrer l'agent en train d'exécuter vos flux de travail réels, sur vos données, au sein de votre environnement, selon des critères de réussite convenus au préalable. Elle doit démontrer l'adéquation technique, la faisabilité de l'intégration et un impact commercial mesurable dans un délai défini, et non pas se contenter de présenter le meilleur cas d'utilisation du fournisseur.
Une démonstration de faisabilité utile proposée par un fournisseur d'IA suit une structure claire :
- Définissez par écrit les critères de réussite. Convenez des objectifs en matière de précision, de rapidité et de coût par tâche, ainsi que des types d'erreurs acceptables, avant le lancement de la phase pilote.
- Utilisez vos propres données et systèmes. Testez les intégrations avec votre système de gestion des identités, vos sources de données et vos outils en aval.
- Prévoir les cas limites. Fournissez à l'agent des données d'entrée ambiguës, incomplètes et contradictoires.
- Mesurer l'effort de supervision humaine. Un agent qui nécessite des corrections constantes coûte souvent plus cher qu'il n'en fait économiser.
- Enregistrer les coûts réels d'exploitation. Enregistrez l'utilisation des jetons, la puissance de calcul et la consommation de licences pendant la phase pilote afin de pouvoir extrapoler ces données à l'environnement de production.
Insistez pour que le fournisseur vous communique les résultats bruts, et pas seulement une diapositive récapitulative. Si le projet pilote répond à vos critères, vous disposerez d'une base solide pour négocier le contrat. S'il échoue, vous l'aurez appris à peu de frais.
Quels documents relatifs à la sécurité et à la conformité les fournisseurs doivent-ils fournir ?
Les fournisseurs doivent fournir des rapports d'audit indépendants, un accord sur le traitement des données, des schémas d'architecture et de flux de données, ainsi qu'une description claire de la manière dont l'agent gère les autorisations, la journalisation et l'entraînement des modèles sur vos données. Ces documents permettent à vos équipes chargées de la sécurité et des questions juridiques d'évaluer la sécurité et la conformité du fournisseur d'IA sans se fier à de simples assurances verbales.
Veuillez demander les éléments suivants à titre de référence :
- Certifications indépendantes et rapports d'audit, telles que la norme ISO 27001 ou SOC 2, dont le champ d'application est clairement défini.
- Accord relatif au traitement des données et la mise en conformité avec le RGPD, notamment en ce qui concerne la localisation des données, les listes de sous-traitants et les durées de conservation.
- Politique relative aux données d'entraînement : une confirmation écrite indiquant si vos données servent à entraîner les modèles du fournisseur ou ceux d’un tiers.
- Modèle d'accès et d'autorisation : comment l'agent s'authentifie, quelles actions il peut effectuer et comment vous pouvez limiter son champ d'action.
- Journaux d'audit : la preuve que chaque action d'un agent est traçable et exportable.
- Termes relatifs à la gestion des incidents et à la notification des violations de données, ainsi que les résultats des récents tests de pénétration.
- Mesures de contrôle des risques spécifiques à l'IA, y compris les mécanismes de protection par injection immédiate et vos obligations au titre de la loi européenne sur l’IA, le cas échéant.
Vérifiez bien ce que couvre réellement le certificat. Il peut arriver qu'un fournisseur dispose d'une certification pour ses systèmes d'entreprise, mais que la plateforme d'agents ne soit pas incluse dans ce champ d'application.
Comment les fournisseurs peuvent-ils démontrer le coût réel et le retour sur investissement ?
Les fournisseurs démontrent le coût réel et le retour sur investissement en proposant un modèle de coût total de possession qui englobe les licences, les frais liés à l'utilisation, l'intégration, la supervision et la gestion du changement, ainsi qu'une mesure de référence du processus que l'agent vient remplacer. Sans cette mesure de référence, toute affirmation concernant le retour sur investissement n'est qu'une estimation.
Soyez particulièrement attentifs aux tarifs basés sur la consommation. Le coût total de possession d’un agent IA augmente souvent à chaque appel, jeton et action effectuée par l’outil ; une facture pilote peu élevée peut donc vous induire en erreur. Demandez au fournisseur :
- Un coût unitaire par tâche réalisée, pas seulement un prix par place ou par jeton.
- Scénarios de coûts au volume prévu, à trois fois ce volume et en charge maximale.
- Une liste des facteurs de coûts cachés, telles que la reconversion professionnelle, le suivi, les aides à la prime et la sortie de données.
- Conditions de garantie du meilleur prix, notamment les plafonds, les remises échelonnées et les délais de préavis en cas de modification des prix.
- Un modèle de retour sur investissement (ROI) comportant des hypothèses précises, que vous pouvez vérifier et réexécuter avec vos propres chiffres.
Des données solides sur le retour sur investissement (ROI) des agents d'IA établissent un lien entre les dépenses et les résultats opérationnels, tels que le gain de temps ou la réduction des erreurs. Si votre entreprise gère déjà ses dépenses technologiques en fonction des services et de la valeur ajoutée, vous pouvez intégrer les coûts liés aux agents dans ce même cadre. C'est là que la discipline de gestion de portefeuille s'avère utile, et notre travail sur gestion stratégique de portefeuille explique comment mettre en balance ces investissements et d'autres priorités.
Quelles références et quels éléments attestant des résultats obtenus sont crédibles ?
Les références fiables proviennent de clients dont l'échelle, la complexité des données et le contexte réglementaire sont similaires aux vôtres, que vous pouvez contacter directement et qui décrivent des résultats mesurables en production. Méfiez-vous des murs de logos, des études de cas anonymes et des références se limitant à des projets pilotes qui n'ont jamais abouti à un déploiement à grande échelle.
Utilisez ces vérifications pour évaluer les antécédents :
- Demandez au moins deux références directes qui ont utilisé l'agent en production depuis six mois ou plus.
- Adressez-vous au responsable technique, non seulement le responsable de projet, mais aussi pour s'informer sur les efforts d'intégration et la maintenance en cours.
- Demande-toi ce qui n'a pas marché au cours de la mise en œuvre et la manière dont le fournisseur a réagi.
- Vérifiez la solidité financière du fournisseur, la feuille de route des produits, ainsi que la taille de ses équipes d'assistance et d'ingénierie.
- Consultez des sources indépendantes, tels que les sites consacrés aux analyses d'analystes et aux évaluations par les pairs, tout en soulignant leurs limites.
Un fournisseur qui a confiance en son produit organisera rapidement ces entretiens. Les retards ou les appels trop « préparés » sont également révélateurs.
Comment les acheteurs devraient-ils évaluer et comparer les éléments fournis par les fournisseurs ?
Les acheteurs doivent évaluer les éléments justificatifs fournis par les fournisseurs à l'aide d'une grille d'évaluation pondérée qui note chaque catégorie d'éléments justificatifs par rapport à des critères convenus au préalable, en utilisant la même échelle pour tous les fournisseurs. La pondération reflète vos priorités, et le fait d'évaluer la qualité des éléments justificatifs, et non pas uniquement les affirmations, garantit une comparaison équitable et défendable.
Voici à quoi ressemble une approche pratique :
- Commencez par définir les catégories et les pondérations. Par exemple : les performances, la sécurité et la conformité, la transparence des coûts, l'adéquation en matière d'intégration et les références.
- Expliquez ce que signifie chaque note. Une note maximale nécessite des preuves indépendantes ou reproductibles ; une note moyenne accepte les données fournies par le fournisseur ; enfin, une note faible correspond à une allégation non étayée.
- Marquez des points en tant que groupe pluridisciplinaire. Assurez-vous d'inclure les services informatiques, la sécurité, les finances, les achats et le chef d'entreprise afin qu'aucun point de vue ne prenne le dessus.
- Signalez séparément les éléments rédhibitoires. Un accord de traitement des données manquantes devrait mettre fin au processus, quelle que soit la qualité des performances du prestataire dans d'autres domaines.
- Exposez votre raisonnement. Un document écrit vient étayer votre décision et vous sera utile lors des négociations contractuelles ultérieures.
Cette structure permet de standardiser l'évaluation des fournisseurs d'IA, ce qui vous permet de la réutiliser à chaque nouvel achat d'agent.
Comment nous vous aidons à choisir un fournisseur d'agents IA
Nous vous aidons à transformer les arguments des fournisseurs en éléments probants prêts à servir de base à vos décisions. Nos consultants assurent la liaison entre les services informatiques, financiers, des achats et les métiers, afin que vous puissiez évaluer ensemble les agents IA en termes de coût, de valeur et de risque, plutôt que de manière cloisonnée. Notre approche des dépenses technologiques vous aide à vérifier si le retour sur investissement promis par un agent se confirme à l'échelle de la production.
Voici comment nous vous accompagnons :
- Modélisation des coûts : Nous établissons une estimation du coût total de possession qui inclut les frais liés à l'utilisation, ce qui vous permet de connaître le coût par tâche avant de signer.
- Fiches d'évaluation : Nous vous aidons à définir des critères pondérés et à effectuer une comparaison cohérente entre les différents fournisseurs.
- Conception du système de gouvernance : Nous avons défini clairement les responsabilités et les pouvoirs de décision afin que les dépenses des agents restent transparentes et justifiées après la mise en service.
- Suivi des valeurs : Nous établissons un lien entre les performances des agents et les résultats de l'entreprise, afin que vous puissiez mettre en évidence le retour sur chaque investissement.
Souhaitez-vous disposer d'une base claire et solide pour prendre votre prochaine décision concernant un agent d'IA ? N'hésitez pas à nous contacter et nous vous aiderons à organiser les éléments de preuve dont vous avez besoin.