Qu’est-ce que le RLHF ? Comprendre l’alignement des LLM et ses limites

Qu’est-ce que l’alignement des LLM et le rôle du RLHF ?

L’alignement des LLM consiste à faire en sorte que les sorties d’un modèle de langage correspondent aux valeurs humaines et aux intentions des utilisateurs. Sans cette étape, un modèle peut générer des réponses techniquement correctes mais éthiquement problématiques, inutiles ou dangereuses, ce qui soulève des enjeux de protection des données. C’est un enjeu fondamental : la nature des données d’entraînement reflète les biais humains, qu’il faut activement corriger, tout comme la protection des données personnelles.

Le RLHF (Reinforcement Learning from Human Feedback) est la technique dominante pour atteindre cet objectif. Il combine l’apprentissage supervisé avec un retour humain direct, transformé en signaux d’optimisation. Il se distingue par son approche : on ne se contente pas de montrer des exemples au modèle, on lui apprend à maximiser une récompense basée sur des préférences humaines collectées lors d’annotations systématiques.

Concrètement, l’alignement externe (le réglage fin post-entraînement) via RLHF a prouvé son efficacité, par exemple sur ChatGPT et InstructGPT, démontrant que cette méthode peut profondément modifier le comportement d’un modèle de base pour le rendre plus utile et plus sûr.

Les défis et limites du RLHF : biais et jailbreaking

Malgré son efficacité, le RLHF repose sur un paradoxe : sa qualité dépend entièrement de la qualité des données utilisées. Une étude portant sur 13 LLM a montré que le facteur le plus déterminant du succès d’un alignement n’est pas la puissance du modèle, mais la pertinence des jugements humains fournis. Un pipeline parfaitement exécuté ne sauvera jamais des données médiocres.

• Annotations biaisées : des préférences humaines partielles produisent un modèle mal aligné, qui reproduit ces biais à grande échelle.
• Qualité des données : c’est le facteur le plus déterminant de l’alignement, loin devant l’architecture du modèle.
• Aucune garantie de sécurité : le RLHF ne prouve pas qu’un modèle est sûr, il réduit seulement la probabilité d’un comportement dangereux.
• Jailbreaking : les contournements sont légion ; des formulations inattendues réussissent à court-circuiter les garde-fous appris pendant l’entraînement.
• Entraînement empirique : l’approche est largement empirique, sans méthode prouvée pour garantir un comportement éthique dans tous les contextes.

Une expérience de 2024 sur le fonctionnement interne des LLM a illustré ce problème : des chercheurs ont analysé comment les modèles décident de refuser ou non une requête. En annotant des échantillons sur une échelle de sûreté allant de 0 (pas de risque) à 5 (risque maximal), ils ont constaté que même les modèles les mieux alignés échouent sur des cas intermédiaires ceux qu’aucune donnée d’entraînement n’a couverts.

Ce constat souligne la fragilité du paradigme : l’alignement reste un compromis statistique, pas une solution mathématiquement garantie, d’où l’importance d’évaluer ses modèles llm. Les modèles apprennent des tendances, pas des règles absolues de sécurité.

Le pipeline RLHF en trois phases : SFT, modèle de récompense, PPO

Le pipeline RLHF (Reinforcement Learning from Human Feedback) se déploie en trois étapes séquentielles, dont l’efficacité dépend aussi des formats de quantification. Cette architecture, rendue célèbre par InstructGPT et ChatGPT, transforme des préférences humaines brutes en un système d’optimisation continue. Chaque phase répond à un objectif précis : enseigner les bases, évaluer la qualité, puis affiner le comportement.

La phase de fine-tuning supervisé (SFT)

La première étape consiste en un fine-tuning supervisé, qui inclut les étapes de mise en conformité souvent accéléré par distillation de llm. On présente au modèle des paires (input, output) étiquetées par des annotateurs humains, qui servent d’exemples de référence. Cette phase ancre le comportement du LLM sur des réponses jugées pertinentes et sûres.

La qualité des données est ici le facteur le plus déterminant. Des directives claires et une formation rigoureuse des annotateurs sont indispensables. L’échelle de sûreté utilisée pour noter les échantillons va de 0 (aucun risque) à 5 (risque maximal), ce qui permet de qualifier précisément les réponses avant qu’elles ne servent de référence au modèle.

Le SFT ne se limite pas à une simple mémorisation : il établit la base de politique sur laquelle l’étape suivante pourra s’appuyer pour explorer des comportements plus subtils. Sans cette phase, le modèle de récompense n’aurait aucun point de départ stable, d’autant que la fenêtre de contexte des modèles de langage reste limitée.

La phase d’optimisation PPO avec modèle de récompense

La deuxième phase construit un modèle de récompense (reward model). À parti, r de comparaisons systématiques effectuées par des humains sur des paires de réponses, ce modèle apprend à attribuer un score de qualité à toute réponse générée. Ce mécanisme de feedback humain transforme des jugements subjectifs en une fonction objective exploitable.

La troisième phase repose sur PPO (Proximal Policy Optimization), une approche historique de l’apprentissage par renforcement. L’algorithme ajuste la politique du modèle afin de maximiser la récompense prédite, tout en évitant des mises à jour trop brutales qui dégraderaient la cohérence du langage, un réglage qui rappelle celui des hyperparamètres des modèles.

Le reward model évalue chaque réponse intermédiaire, ce qui permet un entraînement empirique par essais et corrections, une approche qui dépend fortement de la qualité des réponses. Ce cycle itératif affine progressivement les sorties du LLM pour les aligner sur les attentes humaines, bien que cette approche demeure très empirique et sans garantie absolue d’efficacité ou de sécurité, tout comme les méthodes de quantization.

Les alternatives à RLHF : DPO, KTO et RLAIF

Si le RLHF reste l’approche historique utilisée pour InstructGPT et ChatGPT, sa complexité (trois modèles à entraîner) et son coût poussent la recherche vers des alternatives plus légères. Le tableau ci-dessous résume les principales options.

DPO : l’optimisation directe sans modèle de récompense

La DPO (Direct Preference Optimization) contourne l’étape la plus lourde du RLHF : elle élimine le modèle de récompense explicite. Au lieu d’entraîner un réseau séparé pour noter les réponses, la DPO reformule le problème comme une tâche de classification des préférences directement sur la politique du modèle. Cette simplification permet d’obtenir des résultats compétitifs face au RLHF, sans recourir aux algorithmes complexes d’apprentissage par renforcement comme PPO. Le gain principal : un pipeline plus stable, plus rapide à mettre en œuvre, et nettement moins gourmand en ressources informatiques. Une variante nommée ORPO va encore plus loin en supprimant le modèle de référence, réduisant ainsi la charge mémoire lors de l’entraînement.

KTO et RLAIF : simplifier ou automatiser le feedback

La KTO (Kahneman-Tversky Optimization) s’inspire de l’économie comportementale. Elle fonctionne avec des retours simples de type « bon » ou « mauvais » au lieu de demander aux annotateurs de classer plusieurs réponses entre elles. Cette approche est particulièrement utile lorsque les données de comparaison sont rares ou coûteuses à produire.

De son côté, la RLAIF (RL from AI Feedback) remplace l’humain par un autre LLM pour générer les évaluations. Cette technique, popularisée par des travaux internes chez des laboratoires de recherche, vise à réduire drastiquement le coût de la collecte de préférences humaines. Bien qu’elle ne supprime pas totalement les biais le modèle qui note peut reproduire ses propres défauts elle permet d’itérer plus rapidement et de scaler l’alignement à grande échelle, là où l’annotation humaine atteint vite ses limites budgétaires.

Collecter les préférences humaines et construire le modèle de récompense

• Comparaisons systématiques : l’annotateur classe deux réponses générées par le modèle, la meilleure obtenant un score plus élevé.
• Directives claires : chaque annotateur reçoit un guide précis définissant les critères de qualité et de sécurité à respecter.
• Préférences transformées en récompense : les classements humains deviennent les données d’entraînement du modèle de récompense.
• Échelle de sûreté 0 à 5 : chaque échantillon est noté de 0 (pas de risque) à 5 (risque maximal) pour calibrer le comportement du modèle.
• Formation essentielle : la qualité des annotations repose sur la compétence des annotateurs, formés aux enjeux éthiques et aux cas limites.

La qualité des données de préférences constitue le facteur le plus déterminant de tout le pipeline. Une collecte biaisée produit un modèle mal aligné, quelles que soient les performances de l’algorithme d’optimisation. Pour éviter ce travers, les équipes mettent en place des protocoles stricts : chaque réponse est évaluée selon une échelle de sûreté allant de 0 (pas de risque) à 5 (risque maximal), ce qui permet de quantifier objectivement les refus et les comportements à risque.

Les comparaisons systématiques entre réponses constituent la méthode la plus fiable : plutôt que de demander une note absolue, on présente à l’annotateur deux variantes et on lui demande laquelle est préférable. Cette approche réduit la subjectivité et stabilise les jugements. Les préférences humaines sont ensuite transformées en un modèle de récompense, un réseau entraîné à prédire le score qu’un humain attribuerait à toute nouvelle réponse.

La formation des annotateurs s’avère tout aussi cruciale que la quantité de données collectées. Des directives claires, des exemples annotés et des sessions de calibration régulières garantissent une cohérence inter-annotateurs. Sans cette rigueur, le modèle de récompense apprendrait des signaux contradictoires, produisant un alignement instable et des comportements imprévisibles.

Les techniques d’alignement externe et interne : typologie complémentaire

Pour appréhender pleinement l’alignement des LLM, il faut distinguer deux niveaux d’intervention complémentaires. L’alignement externe agit après l’entraînement initial du modèle, en ajustant ses comportements en surface. L’alignement interne, lui, intervient en amont, directement lors du pré-entraînement du modèle de base, pour ancrer des comportements vertueux dans ses représentations fondamentales.

Les méthodes d’alignement externe (SFT, prompts système, DPO)

Ces techniques s’appliquent sur un modèle déjà entraîné, après la phase de pré-entraînement. Elles visent à façonner les réponses du modèle pour les rendre conformes aux attentes humaines, sans en modifier les connaissances profondes.

• Prompts système et instructions : directives placées en amont de la conversation pour cadrer le ton, le format ou les valeurs, dont l’efficacité a été confirmée par des tests approfondis en 2025.
• Fine-tuning supervisé (SFT) : affinage sur des paires (input, output) étiquetées par des annotateurs, démontrant une qualité de sortie supérieure.
• Optimisation directe (DPO) : alignement sans recourir à un modèle de récompense explicite ni à l’apprentissage par renforcement, simplifiant le pipeline.

Les méthodes d’alignement interne (filtrage, recontextualisation)

Cette approche, plus récente, s’attache à la racine du problème : la qualité des données d’entraînement. Une étude menée sur 13 LLM en 2024 a mis en évidence l’importance des données dans les mécanismes de refus du modèle. En intégrant ces méthodes dès le pré-entraînement, on construit un modèle fondamentalement plus sûr, comme l’illustrent les travaux de 2025 sur le pré-entraînement sécurisé.

• Filtrage données toxiques : élimination en amont des contenus nuisibles, avec annotation sur une échelle de sûreté allant de 0 (pas de risque) à 5 (risque maximal).
• Recontextualisation synthétique par LLM : reformulation des données ambiguës pour leur donner un contexte vertueux.
• Données de refus constructif : apprentissage du modèle à refuser poliment une requête dangereuse tout en proposant une alternative utile et légale.