DPO vs RLHF : comparaison des méthodes d’alignement des LLM

Comparaison DPO vs RLHF : différences clés

La différence fondamentale entre DPO et RLHF réside dans l’architecture interne : le RLHF s’appuie sur un modèle de récompense distinct, entraîné séparément puis optimisé par apprentissage par renforcement, tandis que la DPO consolide ces deux étapes en une seule.

Là où le RLHF maintient trois modèles actifs et échantillonne les réponses du modèle en cours d’entraînement, la DPO optimise directement sur des paires de réponses préférées et rejetées, sans jamais générer de nouveaux exemples. Cette approche dérive de l’objectif RLHF mais la simplifie en un problème de classification binaire, comparable à un fine-tuning supervisé classique, à l’image des compromis entre awq vs gptq pour la quantification. Le RLHF reste utilisé par OpenAI pour InstructGPT et ChatGPT, mais son coût d’infrastructure et sa sensibilité aux hyperparamètres poussent de nombreuses équipes à explorer la DPO comme alternative plus légère et plus stable.

Qu’est-ce que le RLHF ? Définition, fonctionnement et limites (avec PPO)

Cette simplification s’apparente à la manière dont les paramètres d’échantillonnage comme top-p et top-k contrôlent la génération, offrant un réglage plus direct que les mécanismes complexes du RLHF.

Le RLHF (Reinforcement Learning from Human Feedback) est la méthode d’alignement qui a propulsé des modèles comme InstructGPT et ChatGPT. Son principe ? Affiner un modèle linguistique à partir de préférences humaines plutôt que de simples données textuelles. Concrètement, des évaluateurs classent plusieurs réponses générées par le modèle, et ces classements servent à orienter l’apprentissage. C’est ce qui a permis à InstructGPT d’être préféré à GPT-3, alors même que ce dernier possède 100x plus de paramètres preuve que l’alignement peut parfois compter plus que la taille.

Processus RLHF en 3 étapes

Le RLHF se déploie en 3 étapes successives, chacune ayant un objectif précis: SFT sur données démonstration : le modèle est d’abord affiné par supervised fine-tuning sur des exemples de réponses rédigées par des humains
Entraînement du modèle récompense : un modèle de récompense séparé apprend à prédire quelle réponse un humain préférerait
Optimisation par RL : le modèle linguistique est optimisé via PPO (Proximal Policy Optimization) pour maximiser les scores du modèle de récompense

Le point crucial : le RLHF maintient 3 modèles actifs durant l’entraînement la politique en cours d’optimisation, un modèle de référence gelé, et le modèle de récompense. Cette architecture lourde est la source de nombreux défis pratiques.

Limites du RLHF et instabilité de PPO

Le PPO est un algorithme de reinforcement learning puissant mais notoirement sensible aux hyperparamètres. Un léger mauvais réglage du learning rate ou du coefficient de clipping peut faire diverger l’entraînement. Cette instabilité oblige les équipes à multiplier les expérimentations coûteuses.

Autre écueil majeur : le reward hacking. Le modèle peut exploiter des failles du modèle de récompense pour maximiser son score sans réellement améliorer la qualité de ses réponses. Ce comportement, difficile à détecter, dégrade silencieusement les performances finales.

Enfin, le RLHF doit générer de nouveaux échantillons en continu pendant l’entraînement. Cette dépendance à l’inférence en temps réel alourdit considérablement l’infrastructure requise. Pour les équipes disposant de ressources limitées, ces exigences de calcul et de stabilité peuvent devenir un véritable frein.

Qu’est-ce que la DPO ? Définition, principe et fonctionnement

La Direct Preference Optimization (DPO) repose sur une idée radicalement simple : optimiser directement le modèle à partir de préférences humaines, sans passer par un modèle de récompense ni par un algorithme de renforcement. Là où le RLHF complexifie le processus, la DPO le simplifie en reformulant l’objectif sous forme d’une tâche de classification binaire, proche d’un fine-tuning supervisé classique.

Concrètement, la DPO ajuste le modèle sur des paires de réponses préférées et rejetées, issues d’un jeu de données fixe et hors ligne, dont la taille dépend du nombre de tokens dans les LLM. Elle dérive mathématiquement l’objectif du RLHF pour atteindre le même but sans en supporter la lourdeur. Résultat : un entraînement plus léger, consolidant récompense et optimisation en une seule étape, et une stabilité accrue grâce à l’absence d’exploration active, comparable à l’optimisation vLLM qui améliore l’efficacité de l’inférence. Cette approche séduit par sa sobriété : elle ne maintient qu’un seul modèle en entraînement, contre 3 modèles actifs pour le RLHF, et évite les pièges du récompense hacking. Pour les équipes disposant d’un budget modeste mais de données de préférence de haute qualité, la DPO offre un point d’entrée pragmatique vers l’alignement, sans sacrifier la performance.

Comparaison des coûts entre DPO et RLHF

Le coût est souvent le critère décisif lors du choix d’une méthode d’alignement. La différence ne se joue pas uniquement sur la facture énergétique, mais aussi sur l’infrastructure technique et la complexité opérationnelle. Là où le RLHF impose une machinerie lourde, la DPO se distingue par une approche structurellement plus légère, la rendant accessible à un plus grand nombre d’équipes.

Pourquoi le RLHF est plus coûteux

Le surcoût du RLHF est intrinsèque à son architecture. Il maintient trois modèles actifs en mémoire simultanément, et son algorithme PPO exige de générer de nouveaux échantillons à chaque étape pour entraîner la politique. Cette inférence constante consomme énormément de ressources. En comparaison, la DPO fonctionne sur un jeu de données hors ligne fixe, éliminant le besoin d’échantillonnage en temps réel et l’entraînement d’un modèle de récompense séparé.

Un avantage décisif pour les petites équipes

Pour les équipes disposant d’un budget modeste ou d’une infrastructure limitée, la DPO s’impose comme une alternative nettement plus économique. Elle permet de réaliser un alignement de qualité avec une complexité technique comparable à un simple fine-tuning supervisé (SFT). Ce facteur économique est souvent le déclencheur qui rend le projet d’alignement possible. En revanche, le RLHF se justifie lorsque l’on prévoit de réutiliser le modèle de récompense ou que l’on recherche un reward shaping riche, justifiant alors un investissement initial plus lourd.

Quand utiliser DPO vs RLHF : avantages et limitations

Le choix entre DPO et RLHF se résume souvent à une question de budget, de volume de données et d’infrastructure. Pour les équipes disposant de ressources limitées, la DPO offre une alternative plus simple et plus économique. Pour celles qui disposent d’une infrastructure robuste, le RLHF reste la méthode de référence pour un contrôle fin du comportement.

Cas d’usage recommandés pour la DPO

La DPO devient rapidement le choix privilégié des startups et des équipes de recherche qui souhaitent itérer rapidement. Sa simplicité algorithmique, qui la rapproche d’un fine-tuning supervisé, en fait une option très attrayante dans plusieurs contextes précis :

Budget modeste et limité : la DPO ne nécessite pas de maintenir les 3 modèles actifs du RLHF (policy, référence, récompense), ce qui réduit structurellement les coûts de calcul et d’infrastructure. Un choix démocratique pour les petites équipes.
Lot fixe de données qualitatives : cette méthode s’entraîne sur un jeu de paires de réponses préférées/rejetées, figé et hors ligne. Elle excelle lorsque vous disposez d’un excellent dataset de préférences humaines sans avoir besoin de générer de nouveaux échantillons en cours d’entraînement.
Stabilité et simplicité recherchées : avec une loss de classification binaire, l’entraînement est sensiblement plus stable que l’algorithme PPO. Le réglage est plus prévisible et les risques de récompense hacking sont éliminés, car il n’y a pas de récompense à exploiter.

Pour de nombreux projets, la DPO offre ainsi un excellent compromis entre performance et complexité opérationnelle.

Cas d’usage recommandés pour le RLHF

Le RLHF, utilisé par OpenAI pour InstructGPT et ChatGPT, conserve sa pertinence lorsque le besoin de contrôle dépasse la question du coût. Il s’impose dans les scénarios suivants :

Réutilisation du modèle récompense : si une récompense entraînée séparément existe et qu’elle est réutilisable, l’algorithme du RLHF devient justifié. Il exploite alors cet atout, là où la DPO consoliderait les étapes, mais au prix d’une perte de granularité sur le retour qualitatif.
Récompense riche et progressive : le RLHF excelle pour un reward shaping complexe, offrant des signaux intermédiaires au modèle. C’est un avantage décisif pour des tâches longues, nécessitant plusieurs étapes de raisonnement avant d’obtenir le bon résultat.
Évaluation humaine prioritaire : dans les cas où l’avis des évaluateurs humains prime, cette méthode reste aussi la plus robuste. Les modèles entraînés en RLHF, comme InstructGPT, sont largement préférés à GPT-3 par les testeurs, malgré ses 100x plus de paramètres. Le RLHF garantit un alignement et une adéquation aux préférences humaines plus poussés.

Le choix final implique donc d’arbitrer entre la stabilité et l’économie contre la puissance et la finesse du contrôle.

Stabilité et fiabilité comparative des deux méthodes

La DPO se distingue par une stabilité notably supérieure au RLHF, car elle s’apparente à un simple fine-tuning supervisé. Elle n’emploie qu’un seul modèle et un jeu de données fixe, ce qui élimine les boucles de rétroaction instables. À l’inverse, le RLHF hérite des défis d’instabilité intrinsèques à l’apprentissage par renforcement, où l’algorithme PPO se montre particulièrement sensible aux hyperparamètres.

Le RLHF maintient 3 modèles actifs durant l’entraînement, multipliant les sources de divergence et les risques de reward hacking, une exploitation de la récompense difficile à détecter. Cette complexité rend le réglage fastidieux. Pour les équipes cherchant un pipeline prévisible et des résultats reproductibles, la DPO offre un meilleur contrôle et une convergence plus rapide, sans sacrifier la qualité finale.

Processus de fine-tuning et données nécessaires (pipeline)

Avant d’entrer dans le détail des deux pipelines, un point fondamental les unit : les deux approches démarrent par un fine-tuning supervisé (SFT) sur des données de démonstration. Cette étape préalable consiste à affiner le modèle sur des exemples de réponses de haute qualité pour établir une base solide. C’est à partir de cette base commune que les chemins divergent radicalement.

Pipeline RLHF complet

Le pipeline RLHF se déroule en 3 étapes distinctes, chacune ayant ses propres exigences en données et en calcul :

• SFT sur données démonstration : fine-tuning supervisé initial sur des milliers d’exemples rédigés par des humains pour établir le comportement de base.
• Entraînement du modèle récompense : collecte de classements humains sur des paires de réponses pour apprendre au modèle récompense à prédire la préférence humaine.
• Optimisation par RL : la politique est affinée via PPO, un algorithme qui échantillonne en continu de nouvelles réponses.

Ce pipeline maintient 3 modèles actifs simultanément : la politique en cours d’entraînement, le modèle de référence figé, et le modèle de récompense. L’échantillonnage continu des réponses rend le processus coûteux en données et en puissance de calcul, car chaque itération nécessite de générer et d’évaluer de nouvelles sorties.

Pipeline DPO et exigences de données

Le pipeline DPO est structurellement plus simple. Il s’appuie sur un jeu de données fixe et hors ligne de paires de réponses classées préférées/rejetées. L’entraînement se fait directement sur ces données avec une loss binaire de classification, de style SFT. Cette simplicité réduit considérablement les coûts d’infrastructure, car un seul modèle est actif durant l’entraînement.

La contrainte majeure de ce pipeline réside dans la qualité des données de préférence. Puisqu’il n’y a pas de génération de nouveaux échantillons en cours d’entraînement, le modèle dépend entièrement de la diversité et de la représentativité des paires collectées au départ. Une base de données riche et bien équilibrée devient alors la clé de voûte de la performance finale.

Ces contraintes techniques s’accompagnent d’enjeux de conformité, notamment les obligations RGPD qui encadrent le traitement des données personnelles lors de l’entraînement de ces modèles.