Dans quels cas les évaluations automatisées basées sur l'IA peuvent-elles remplacer les évaluations humaines ?

Les évaluations automatisées basées sur l'IA peuvent se substituer aux évaluations humaines lorsque la tâche repose sur des critères objectifs et vérifiables, que le coût d'une erreur est faible et que vous avez démontré que le système d'évaluation automatisé parvient aux mêmes conclusions que des évaluateurs humains expérimentés. Pour les tâches subjectives, à enjeux élevés ou inédites, ce sont les humains qui doivent avoir le dernier mot.
Le véritable enjeu n'est pas de choisir entre l'automatisation et les humains. Il s'agit plutôt de déterminer quelle couche de vérification correspond à quel niveau de risque. Les sections ci-dessous vous expliquent comment classer les tâches, démontrer la fiabilité, repérer les faiblesses des configurations où les grands modèles de langage (LLM) font office de « juges », maintenir les humains aux postes appropriés et surveiller l'ensemble du système au fil du temps.

Quelles tâches présentent un risque suffisamment faible pour faire l'objet d'une évaluation automatisée ?

Les tâches présentent un risque suffisamment faible pour permettre une évaluation automatisée par IA lorsque le résultat peut être vérifié à l'aune de règles claires ou de réponses de référence, et qu'une note erronée n'entraîne que peu de conséquences négatives. Parmi les exemples, on peut citer la validation de format, la vérification de faits par rapport à une source connue, le code qui réussit les tests unitaires et la classification à partir de données de référence étiquetées.
Commencez par évaluer chaque tâche selon trois critères :

  • Vérifiabilité : Une règle, un test ou une réponse type peuvent-ils déterminer ce qui est correct ?
  • Conséquences des erreurs : Que se passe-t-il si l'évaluateur se trompe ? Une erreur de notation dans un résumé interne n'a que peu de conséquences. Ce n'est pas le cas pour une erreur de notation concernant un avis médical ou financier.
  • Volume : Examinez-vous un nombre si important de résultats que la vérification manuelle devient un goulot d'étranglement ?

Une grande vérifiabilité, un faible impact et un volume élevé constituent les principaux arguments en faveur de l’automatisation. Les tests de régression des invites, la vérification de la conformité des réponses à une structure requise et le dépistage des violations manifestes des règles s’inscrivent tous dans ce profil. Les tâches dont les critères de qualité sont flous, telles que le ton de la marque ou la rédaction persuasive, obtiennent de mauvais résultats en matière de vérifiabilité et nécessitent au préalable un ajustement par un être humain.

Comment prouver qu'un système d'évaluation automatisé est fiable ?

Pour démontrer la fiabilité d'un évaluateur automatisé, il faut mesurer le degré de concordance entre ses résultats et ceux d'évaluateurs humains formés, sur un échantillon représentatif, puis montrer que cette concordance se maintient quel que soit le type de tâche et au fil du temps. Si l'évaluateur automatisé présente un niveau de concordance avec les humains comparable à celui observé entre les évaluateurs humains eux-mêmes, on dispose alors d'une référence défendable.
Suivez les étapes suivantes :

  1. Constituez un ensemble « doré ». Recueillez un échantillon représentatif de résultats réels, y compris les cas limites, et confiez à plusieurs évaluateurs qualifiés la tâche de les noter selon des critères écrits.
  2. Commencez par évaluer le degré de consensus parmi les participants. Si vos évaluateurs ne sont pas d'accord entre eux, l'évaluateur ne dispose d'aucun critère de référence stable auquel se référer.
  3. Comparez l'évaluateur aux êtres humains. Utilisez des indicateurs de concordance tels que le kappa de Cohen ou la corrélation pour les scores, et la précision et le rappel lorsque l'évaluateur signale des échecs.
  4. Segmentez les résultats. Évaluez les performances en fonction du sujet, du niveau de difficulté et de la longueur du résultat, plutôt que de vous fier à un seul chiffre global.
  5. Définissez un seuil à l'avance. Déterminez quel niveau d'accord justifie l'automatisation avant même de consulter les résultats, afin de ne pas trouver d'excuses à un résultat médiocre.

Faites particulièrement attention aux faux négatifs. Un évaluateur qui valide des résultats erronés cause plus de dégâts qu’un autre qui signale à tort des résultats corrects, car personne ne vérifie ce qu’il valide.

Quelles sont les faiblesses connues du modèle « LLM-as-a-judge » ?

Les modèles LLM utilisés comme juges présentent plusieurs faiblesses avérées : le biais de position, le biais de verbosité, l'auto-préférence et la sensibilité à la formulation de la consigne. Un modèle servant de juge peut privilégier les réponses plus longues, préférer les résultats qui ressemblent à son propre style ou modifier sa note lorsque l'on réorganise les réponses candidates, même si la qualité reste inchangée.
Parmi les problèmes les plus courants, on peut citer :

  • Biais de verbosité : Les juges ont souvent tendance à privilégier les réponses plus longues et plus détaillées, quelle que soit leur exactitude.
  • Biais de position : Lorsqu'il compare deux réponses, le juge peut privilégier celle qui apparaît en premier.
  • Préférence pour soi-même : Un modèle a tendance à noter plus généreusement les résultats issus de sa propre famille.
  • Vérification superficielle des faits : Une réponse fluide mais erronée peut tout de même obtenir une bonne note si le jury n'est pas en mesure de vérifier l'affirmation.
  • Sensibilité de la commande : De légères modifications apportées à la grille d'évaluation peuvent faire varier les notes de manière notable.

Vous pouvez réduire ces risques. Mélangez l'ordre des réponses, utilisez des grilles d'évaluation explicites accompagnées d'exemples, faites intervenir plusieurs évaluateurs issus de différentes familles de modèles et fournissez à l'évaluateur des documents de référence lui permettant de vérifier les faits. Aucune de ces mesures ne permet d'éliminer totalement ces faiblesses, c'est pourquoi une validation par rapport aux notes attribuées par des évaluateurs humains reste nécessaire.

Quand faut-il que les humains restent impliqués ?

Les humains doivent rester impliqués lorsque des erreurs entraînent un préjudice réel, lorsque les normes de qualité sont subjectives ou contestées, lorsque la tâche est nouvelle, et lorsque la réglementation ou les obligations de responsabilité exigent qu'une personne désignée donne son accord. Dans ces cas-là, l'automatisation peut apporter une aide, mais elle ne doit pas prendre la décision finale.
Maintenir la vérification humaine pour :

  • Des décisions aux enjeux importants : Résultats dans les domaines juridique, médical, financier et de la sécurité.
  • Nouveaux cas d'utilisation : Tu n'as pas encore d'ensemble de référence, tu ne peux donc pas savoir si l'évaluateur fonctionne.
  • Qualité subjective : Le ton, la créativité, l'adéquation culturelle et la voix de la marque.
  • Notes contestées ou limites : Cas où plusieurs juges sont en désaccord ou où le niveau de confiance est faible.
  • Exigences en matière de gouvernance : Situations dans lesquelles les politiques ou la réglementation exigent une responsabilité humaine.

Un processus d'évaluation hybride s'avère généralement le plus efficace. Laissez l'évaluateur automatisé filtrer l'ensemble des éléments, transmettez les éléments présentant un faible niveau de confiance ou un risque élevé à des intervenants humains, et prélevez un pourcentage fixe des résultats approuvés pour un contrôle humain. Cela permet de concentrer l'attention humaine là où elle apporte le plus de valeur ajoutée, tout en maîtrisant les coûts. Il est essentiel de définir clairement les pouvoirs de décision, ce qui repose sur le même principe que celui qui sous-tend une bonne gestion stratégique de portefeuille: vous déterminez à l'avance qui évalue quoi et à quel niveau de risque.

Comment assurez-vous le suivi des évaluations automatisées au fil du temps ?

Vous surveillez les évaluations automatisées en recoupant en permanence les résultats de l'évaluateur avec de nouveaux étiquetages effectués par des humains, en suivant l'évolution des distributions de scores pour détecter d'éventuelles dérives, et en procédant à une nouvelle validation chaque fois que le modèle, la consigne ou les données d'entrée changent. Un évaluateur qui a passé la validation avec succès il y a six mois peut se dégrader progressivement sans que personne ne s'en aperçoive.
Intégrez ces habitudes à votre processus d'assurance qualité :

  • Réaliser régulièrement des audits menés par des personnes. Prélever à chaque cycle un petit échantillon aléatoire de décisions automatisées et les comparer aux notes attribuées par des humains.
  • Suivi de la dérive. Surveillez les variations des notes moyennes, des taux de réussite et de la proportion de résultats signalés. Des changements soudains indiquent un problème au niveau de l'évaluateur ou des données d'entrée.
  • Valider à nouveau après avoir effectué des modifications. Réexécutez votre ensemble de référence chaque fois que vous mettez à jour le modèle d'évaluation, la grille d'évaluation ou le système évalué.
  • Actualiser la sélection dorée. Ajouter de nouveaux cas limites et de nouveaux schémas de défaillance à mesure que l'utilisation réelle évolue.
  • Consigner les désaccords. Chaque cas où un être humain passe outre la décision de l'évaluateur vous en dit long sur les lacunes de ce dernier.
  • Définir les critères de remontée. Si le taux de concordance est inférieur à votre seuil, le système devrait automatiquement revenir à une vérification entièrement humaine.

Considérez l'évaluateur comme n'importe quel autre système de production, avec un responsable, des indicateurs de performance et un rythme de révision.

Comment nous contribuons à la gouvernance de l'évaluation de l'IA

Nous vous aidons à mettre en place une gouvernance qui garantit la fiabilité de l'évaluation automatisée. Déterminer ce qu'il convient d'automatiser, qui examine quoi, et comment suivre le coût et la valeur de cette décision relève autant de la gestion que de la technique. Nos consultants adoptent la même approche structurée et orientée vers la prise de décision que celle que nous utilisons pour la gestion financière des systèmes d'information et les dépenses liées au cloud.
C'est là que nous apportons notre valeur ajoutée :

  • Pouvoirs de décision fondés sur l'évaluation des risques : Nous vous aidons à déterminer quelles actions générées par l'IA peuvent être automatisées, lesquelles nécessitent une validation humaine, et qui est responsable de chaque décision.
  • Transparence des coûts et de la valeur : Nous établissons un lien entre les efforts d'évaluation, les outils et les capacités d'analyse d'une part, et les résultats opérationnels d'autre part, afin que vous puissiez identifier les domaines où l'automatisation est la plus rentable.
  • Alignement interfonctionnel : Nous réunissons les équipes financières, informatiques et opérationnelles autour de règles communes et d'un rythme de suivi régulier.
  • Modèles opérationnels évolutifs : Notre Services FinOps montrent comment une gouvernance cohérente et une optimisation continue permettent de maîtriser une technologie en constante évolution et axée sur l'utilisation, et cette même discipline s'applique aux charges de travail liées à l'IA.

Vous souhaitez mettre en place un processus d'évaluation hybride alliant rapidité, rentabilité et fiabilité ? N'hésitez pas à nous contacter et nous l'explorerons avec vous.

It's Value
Présentation de la politique de confidentialité

Ce site web utilise des cookies afin de vous offrir la meilleure expérience utilisateur possible. Les informations contenues dans ces cookies sont stockées dans votre navigateur et permettent notamment de vous reconnaître lorsque vous revenez sur notre site, ainsi que d'aider notre équipe à identifier les sections du site que vous trouvez les plus intéressantes et utiles.