Évaluer les performances d’un système RAG : métriques, méthodes et outils

Évaluer un RAG combine métriques de récupération et de génération, via LLM-as-a-Judge.

  • Fidélité et ancrage : garde-fous contre les hallucinations.
  • ROUGE/BLEU : limites sur formulations différentes, préférer un juge LLM.
  • Ragas : framework open source mesurant récupération et génération.
  • TruLens et alternatives : pour standardiser les évaluations automatisées.
  • LLM-as-a-Judge : corrèle mieux avec le jugement humain, détecte les nuances.

Métriques de génération : fidélité, pertinence et qualité des réponses

Lorsqu’un système RAG génère une réponse, l’enjeu principal est de déterminer si celle-ci est à la fois correcte et utile. Pour cela, on mesure la qualité de la génération à travers plusieurs dimensions complémentaires, chacune visant un risque spécifique, notamment les hallucinations et le hors-sujet.

  • Fidélité : la réponse est-elle strictement basée sur le contexte récupéré, sans invention ?
  • Pertinence : la réponse correspond-elle exactement à la question posée, sans digression ?
  • Ancrage : chaque affirmation de la réponse est-elle liée à une source précise du document ?
  • Exactitude : le contenu factuel est-il juste et vérifiable par rapport à la réalité ?
  • Sûreté : la réponse évite-t-elle tout langage toxique, biaisé ou dangereux ?

Ces cinq critères ne se valent pas tous. Une réponse peut être fidèle au contexte mais totalement inutile si elle ne répond pas à la question (manque de pertinence). À l’inverse, une réponse pertinente mais non ancrée dans les sources est un signal d’alerte majeur sur la fiabilité du système. La fidélité et l’ancrage sont les deux garde-fous principaux contre les hallucinations.

Mesures automatiques classiques et leurs limites

Des métriques traditionnelles comme ROUGE (chevauchement de n-grammes) ou BLEU (précision des n-grammes) comparent la réponse générée à une réponse de référence. Elles fonctionnent bien pour la traduction ou le résumé, mais échouent souvent pour évaluer un RAG : deux réponses parfaitement correctes peuvent utiliser des formulations très différentes, pénalisant artificiellement un bon résultat.

C’est pourquoi l’évaluation moderne repose de plus en plus sur des LLM-as-a-Judge (LLM comme juge). Un modèle de langage avancé note la qualité de la réponse selon des critères précis (fidélité, pertinence). Cette approche corrèle mieux avec le jugement humain et permet de détecter des nuances sémantiques que des métriques basées sur le texte littéral ignorent. Pour obtenir des scores fiables, il est recommandé de fournir au juge un contexte clair et de faire vérifier chaque réponse par plusieurs exemples de tests.

Frameworks d’évaluation automatisés : Ragas, TruLens et alternatives

évaluer la qualité dun système RAG

Évaluer manuellement chaque réponse générée par un système RAG devient rapidement un goulot d’étranglement. Les frameworks d’évaluation automatisés permettent de standardiser ce processus, de le répéter à chaque modification du code ou des données, et d’obtenir des métriques comparables dans le temps. Voici les outils principaux à connaître pour structurer votre démarche.

Ragas : la référence open source

Ragas est une bibliothèque Python open source spécialement conçue pour évaluer des pipelines d’IA générative. Son principal atout réside dans sa capacité à mesurer à la fois la qualité de la récupération (rappel, pertinence) et celle de la génération (fidélité, pertinence de la réponse). Il s’appuie sur le concept de LLM-as-a-Judge, c’est-à-dire l’utilisation d’un modèle de langage pour noter la qualité des réponses selon des critères définis.

Avec Ragas, vous construisez un jeu de données de test composé de questions et de réponses de référence, puis le framework calcule automatiquement un score global. Des métriques comme le NDCG@k, qui évalue la qualité du classement des documents jusqu’à la position k, ou le MRR (Mean Reciprocal Rank), qui mesure si le premier document pertinent apparaît en haut de la liste, sont intégrées. Un MRR proche de 1 indique que le système place systématiquement les bonnes réponses en première position.

TruLens et autres alternatives (Vertex AI, Unitxt)

Au-delà de Ragas, d’autres solutions répondent à des besoins spécifiques. TruLens, par exemple, se distingue par son interface de suivi visuel des performances. Il permet de décomposer la qualité d’une réponse en plusieurs critères (ancrage au contexte, pertinence, sécurité) et d’identifier précisément où le système échoue.

  • Vertex AI : création de pipelines d’évaluation RAG managés dans l’écosystème Google Cloud
  • Unitxt : framework flexible qui utilise le MRR comme indicateur clé de performance de récupération
  • LangSmith : traçage et évaluation intégrés pour les applications construites avec LangChain

Le choix de l’outil dépend de votre infrastructure existante et de la granularité des métriques souhaitée. Dans tous les cas, ces frameworks garantissent une évaluation systématique et reproductible, bien plus fiable qu’une inspection manuelle ponctuelle.

Métriques de récupération : précision, rappel, MRR et NDCG

Métrique Ce qu’elle mesure Valeur cible
Précision Proportion de documents récupérés réellement pertinents Élevée (≥ 0,8)
Rappel Proportion de documents pertinents effectivement récupérés Élevée (≥ 0,8)
MRR Position du premier résultat pertinent dans la liste Proche de 1 = excellent
NDCG@k Qualité du classement pondéré jusqu’à la position k 0,7 et plus

Avant de juger la qualité d’une réponse générée, il faut s’assurer que le système a récupéré les bons documents. Ces métriques de récupération sont basées sur des références : chaque question du jeu de test est associée à des identifiants uniques (contexts_id) correspondant aux passages attendus. Sans cette annotation, aucune mesure fiable n’est possible.

Précision et rappel : le socle de l’analyse

La précision indique la part de documents récupérés qui sont réellement pertinents. Si le système retourne 10 passages mais que seuls 2 sont utiles, la précision est faible : le générateur recevra du bruit qui risque de polluer sa réponse. Le rappel, lui, mesure la capacité à ne rien oublier : sur l’ensemble des passages pertinents disponibles dans la base, combien ont été retrouvés ? Un bon RAG doit trouver un équilibre entre les deux une précision élevée sans rappel suffisant prive le modèle d’informations clés, et inversement.

MRR et NDCG : évaluer l’ordre des résultats

Récupérer les bons documents ne suffit pas : encore faut-il qu’ils soient bien classés. Le MRR (Mean Reciprocal Rank) vérifie à quelle position apparaît le premier document pertinent une valeur proche de 1 signifie que le meilleur résultat est en tête de liste. Le NDCG@k va plus loin en évaluant la qualité du classement jusqu’à la position k : il pénalise les résultats pertinents placés trop bas. Ces deux indicateurs sont particulièrement sensibles au découpage des documents : si vos scores sont faibles, revoyez en priorité votre stratégie de chunking avant de modifier le modèle de génération.

Créer un jeu de données de test et adopter une méthodologie d’évaluation

La qualité d’une évaluation repose d’abord sur la qualité du jeu de données utilisé. Un dataset bien conçu permet de mesurer objectivement les performances de votre système et d’identifier précisément les axes d’amélioration.

Constituer un dataset de test représentatif

Un bon jeu de test doit refléter les situations réelles auxquelles votre système sera confronté. Voici les éléments indispensables à inclure :

  • Questions représentatives : issues des usages réels de vos utilisateurs, couvrant la variété des formulations possibles
  • Preuves attendues : le passage ou les passages du corpus qui contiennent la réponse correcte, identifiés par des contexts_id uniques
  • Critères explicites : la définition claire de ce qu’est une réponse correcte, pertinente ou fidèle au contexte fourni
  • Exemples négatifs difficiles : des questions pièges où le contexte contient des informations partielles ou trompeuses
  • Cas d’abstention : des questions hors du domaine où le modèle doit reconnaître qu’il ne peut pas répondre plutôt que d’halluciner

Il est essentiel d’inclure des cas où le système doit s’abstenir. Un modèle qui invente une réponse plutôt que d’admettre son ignorance est un échec critique, surtout dans des domaines sensibles comme la santé ou la finance.

Structurer l’évaluation : séparer les composants puis tester l’ensemble

Évaluer un système RAG dans son ensemble sans décomposer ses étapes rend le diagnostic difficile. La méthodologie recommandée suit une progression en trois temps.

Commencez par tester séparément la récupération et la génération. Cela permet de savoir si un mauvais score global provient d’un retrieveur qui ne trouve pas les bons documents ou d’un générateur qui ne les exploite pas correctement. Si les scores de récupération sont faibles, il faut revoir la stratégie de découpage des documents ou la qualité des embeddings.

Ensuite, évaluez chaque composant indépendamment avec ses métriques dédiées : précision et rappel pour la recherche, fidélité et pertinence pour la génération. Un score MRR proche de 1 indique que le premier document pertinent est bien classé en tête des résultats, tandis que le NDCG@k mesure la qualité du classement jusqu’à la position k.

Enfin, testez l’expérience utilisateur de bout en bout pour vérifier que l’assemblage fonctionne. L’évaluation humaine reste la méthodologie la plus fiable, et le recours à un LLM-as-a-Judge (LLmaaj) peut être utilisé en complément, à condition d’avoir vérifié sa corrélation avec les jugements humains. Analysez les scores moyens obtenus et interprétez-les en fonction du contexte métier avant d’itérer sur votre pipeline.

Pourquoi évaluer un système RAG : enjeux et bonnes pratiques d’itération

Évaluer un système RAG ne se limite pas à mesurer la qualité des réponses. C’est un levier d’efficience financière : chaque appel LLM a un coût, et une évaluation régulière permet d’identifier les hallucinations avant qu’elles n’entachent la confiance des utilisateurs. Un système non testé expose aussi à des injections de prompts malveillantes ou à des erreurs de droits d’accès.

L’évaluation doit être continue et itérative. En production, recueillez les retours utilisateurs pour détecter les dérives, et mesurez la robustesse face aux attaques. Une vérification systématique des permissions utilisateur est requise pour éviter les fuites de données sensibles via le contexte récupéré.

Enfin, combinez métriques automatisées et jugement humain. Les scores moyens seuls ne suffisent pas : analysez les cas limites pour orienter vos prochaines itérations sur le découpage des documents ou la qualité des embeddings. Une évaluation bien menée transforme chaque amélioration en gain mesurable de performance et de fiabilité.

Évaluer de bout en bout et en production : coûts, latence et monitoring

Après avoir validé chaque composant séparément, il faut vérifier toute l’expérience utilisateur de bout en bout. Cette étape révèle des problèmes invisibles lors des tests unitaires, comme des temps de réponse cumulés trop longs ou des coûts d’infrastructure qui explosent à l’échelle. L’évaluation humaine reste toujours la valeur de référence pour juger la qualité finale perçue, mais elle doit être complétée par des métriques opérationnelles mesurables en continu.

Métriques opérationnelles : coûts, latence et santé du système

  • Coûts : appels LLM facturation à la token, entrée et sortie
  • Coûts : infrastructure GPU/CPU, stockage vectoriel, bande passante
  • Latence : indexation temps de découpage et d’embedding des documents
  • Latence : recherche requête vectorielle et récupération des contextes
  • Latence : génération time-to-first-token et streaming de la réponse
  • Taux d’erreur requêtes échouées, timeouts, réponses vides

La latence se mesure dans chaque composant du pipeline, pas seulement de bout en bout. Une base vectorielle qui répond en 5 ms en test peut prendre 200 ms avec 2 millions de vecteurs. De même, le coût par requête varie selon la longueur des contextes injectés et le modèle choisi. Suivre ces métriques séparément permet d’identifier le goulot d’étranglement avant qu’il ne dégrade l’expérience utilisateur.

Évaluation continue en production et monitoring

Les métriques de qualité vues précédemment, comme le NDCG@k qui mesure la qualité de classement jusqu’à la position k, ou un MRR proche de 1 indiquant des résultats pertinents en haut de liste, ne suffisent pas en production. Il faut aussi surveiller les dérives : les documents sources changent, les questions des utilisateurs évoluent, et les modèles sont mis à jour. Un monitoring continu avec des évaluations périodiques sur un jeu de test fixe détecte ces régressions silencieuses.

Mettez en place des alertes automatiques sur les métriques opérationnelles et un recueil structuré des retours utilisateurs (boutons like/dislike, signalements). Croisez ces signaux avec les scores automatisés pour prioriser les améliorations. En production, l’objectif n’est pas d’atteindre la perfection mais de maintenir un niveau de qualité stable tout en maîtrisant les coûts et la latence les trois piliers d’un système RAG viable à long terme.