Grand modèle de langage (LLM) : fonctionnement, entraînement et applications

Qu’est-ce qu’un grand modèle de langage (LLM) et comment fonctionne-t-il ?

Définition et principe de base d’un LLM

Un LLM est un modèle d’apprentissage profond entraîné sur des milliards de textes. Son rôle : prédire le token suivant dans une phrase. Techniquement, c’est une fonction mathématique qui transforme des listes de nombres en probabilités. Le modèle repose sur des réseaux de neurones profonds capables de traiter des séquences entières de texte.

Pour donner un ordre d’idée de l’échelle, le modèle GPT-1 a été entraîné sur un corpus de 985 millions de mots (BookCorpus), tandis que BERT a utilisé 3,3 milliards de mots. Les ensembles de données actuels peuvent contenir jusqu’à 10 000 milliards de tokens, mais le stock de données linguistiques de haute qualité se limite à 4,6 à 17 milliards de mots.

Cette approche contraste radicalement avec les méthodes statistiques historiques, qui ne pouvaient s’appuyer que sur un contexte de 2 ou 3 mots pour deviner le suivant.

Pipeline de traitement : de la tokenisation à la génération

Le fonctionnement d’un LLM suit un pipeline précis en cinq étapes : , comme dans les méthodes d’analyse de verbatim,

Ce pipeline de traitement s’apparente à la rigueur nécessaire pour choisir son langage de programmation, où chaque étape conditionne la qualité du résultat final. , comme pour choisir entre rust et go,

• Tokenisation : découpage du texte en sous-mots fréquents (BPE), gérant les mots inconnus
• Embeddings : conversion des tokens en vecteurs numériques compréhensibles par le modèle
• Passage Transformer : analyse des séquences par les blocs de l’architecture
• Calcul des probabilités : distribution sur l’ensemble du vocabulaire
• Génération : sélection et sortie du token le plus probable, puis répétition

Le vocabulaire d’un LLM peut atteindre 100 000 tokens. La sortie est un vecteur de probabilités dont la taille correspond exactement à celle du lexique. L’inférence se fait token par token, chaque nouvelle prédiction s’ajoutant à la séquence déjà générée pour calculer la suivante.

Ce mécanisme de prédiction séquentielle est encadré par un paramètre appelé température. Pour des réponses factuelles, on recommande une valeur entre 0.0 et 0.3 ; pour un dialogue naturel, entre 0.5 et 0.7 ; et pour un brainstorming créatif, entre 0.8 et 1.2.

Architecture Transformer et mécanisme d’attention

Le rôle central de l’auto-attention

Le mécanisme d’attention, introduit en 2017 avec l’architecture Transformer, permet au modèle de « prêter attention » aux tokens pertinents d’une séquence. Il calcule des relations entre tous les tokens via trois vecteurs : Query, Key et Value. C’est cette innovation qui distingue les LLM des approches statistiques historiques, lesquelles ne pouvaient exploiter qu’un contexte de 2 ou 3 mots.

Concrètement, l’auto-attention fonctionne comme un système de recherche interne : le modèle compare chaque token à tous les autres pour déterminer lesquels sont les plus importants dans le contexte donné. Par exemple, dans la phrase « Le chat dort car il est fatigué », le modèle associe « il » à « chat » grâce à ce mécanisme.

Cette capacité à traiter l’ensemble de la séquence simultanément explique pourquoi les modèles récents atteignent des fenêtres de contexte allant jusqu’à 200 000 tokens soit l’équivalent de plusieurs centaines de pages de texte. Les approches antérieures, limitées à quelques mots de contexte, ne pouvaient tout simplement pas capturer des relations aussi longues.

Structure en couches et avantages du traitement parallèle

Architecturalement, un Transformer se compose de plusieurs éléments empilés les uns sur les autres :

• Couche d’embedding en entrée : convertit les tokens en vecteurs numériques compris par le réseau
• Blocs Transformer empilés : chacun contient des mécanismes d’attention et des réseaux feed-forward
• Traitement parallèle : toutes les positions sont traitées simultanément, contrairement aux réseaux récurrents séquentiels
• Supériorité computationnelle : l’entraînement est considérablement accéléré, permettant des modèles massifs
• Vocabulaire étendu : jusqu’à 100 000 tokens possibles grâce à la tokenisation BPE

Cette structure en couches successives permet au modèle d’apprendre des représentations de plus en plus abstraites : les premières couches capturent les régularités syntaxiques, tandis que les couches profondes saisissent des relations sémantiques complexes. C’est cette hiérarchie qui rend les modèles GPT, Claude ou Gemini si performants pour des tâches variées.

Les phases d’entraînement : pré-entraînement, fine-tuning et alignement

Pré-entraînement : l’apprentissage sur données massives

Le pré-entraînement consiste à faire prédire au modèle le token suivant sur des corpus gigantesques. GPT-1 a été entraîné sur BookCorpus (985 millions de mots en 2018), BERT sur 3,3 milliards de mots, et les ensembles actuels peuvent atteindre 10 000 milliards de mots. Seuls 4,6 à 17 milliards de mots de données linguistiques de haute qualité existent, ce qui crée une contrainte physique sur l’entraînement.

Cette phase apprend au modèle la structure du langage, les faits et les raisonnements de base. Le modèle garde ces statistiques dans ses 1,5 milliard de paramètres (voire plus), chaque paramètre agissant comme un micro-réglage de la prédiction. Le coût estimé d’entraînement d’un tel modèle s’élevait à 1,6 million de dollars en 2020 un investissement réservé à quelques acteurs majeurs.

Fine-tuning, RLHF et alignement sur instructions

Le pré-entraînement seul ne suffit pas : le modèle sait prédire des mots, mais ne sait pas répondre à une requête utilisateur. Les phases post-entraînement transforment cette capacité brute en outil utilisable :

• Fine-tuning supervisé apprentissage sur des paires question-réponse rédigées par des humains.
• RLHF apprentissage par renforcement avec rétroaction humaine pour classer les meilleures réponses.
• Réglage par instructions apprentissage du suivi de requêtes explicites.
• Réduction des sorties non souhaitées filtrage des contenus toxiques ou hors sujet.
• Amélioration continue de l’alignement itérations régulières pour mieux correspondre aux attentes.

Ces étapes rendent les modèles réellement exploitables : la température entre 0.0 et 0.3 pour des réponses factuelles, 0.5 à 0.7 pour un dialogue naturel, 0.8 à 1.2 pour du brainstorming créatif illustre comment les réglages fins contrôlent le style et la fiabilité des sorties. Sans ces phases, un LLM reste un prédicteur statistique impressionnant, mais imprévisible.

Applications et cas d’usage des LLM

Les LLM dépassent la simple génération de texte : ils rédigent des e-mails, des articles et des notes juridiques, produisent du code, résument des documents et traduisent entre langues. Deux cas d’usage émergent particulièrement : le LLM-as-a-Judge, où un modèle évalue ou annote des données, et le RAG, qui permet d’interroger une base documentaire et de générer une réponse sourcée.

Les secteurs d’activité intègrent ces capacités dans des processus métier concrets de la relation client à la veille juridique avec des niveaux de température adaptés : 0,0 à 0,3 pour des réponses factuelles, 0,5 à 0,7 pour un dialogue naturel, 0,8 à 1,2 pour du brainstorming créatif. Cette latitude de réglage permet d’ajuster le comportement du modèle selon l’usage recherché, de la précision documentaire à la génération d’idées.

Limites, biais et défis des LLM

Malgré leurs capacités impressionnantes, les grands modèles de langage présentent des limites fondamentales et des défis éthiques qu’il est essentiel de comprendre pour les utiliser à bon escient. Ces faiblesses ne sont pas des bugs accidentels : elles découlent directement de leur architecture probabiliste et de la nature de leurs données d’entraînement.

Hallucinations et limites fondamentales

Le défi le plus connu est le phénomène d’hallucination. Un LLM peut produire des affirmations fausses ou invraisemblables avec une fluidité et une confiance déconcertantes. Cela résulte de sa nature probabiliste : il ne « connaît » pas la vérité, il calcule la probabilité du token suivant. Il assemble des séquences de mots statistiquement plausibles, sans filtre de véracité. Cette génération token par token, bien qu’extrêmement fluide, peut donc s’écarter de la réalité factuelle.

À cela s’ajoutent des limites de précision, notamment dès que l’on sollicite le modèle sur des sujets très spécifiques ou récents. La maîtrise du contexte est également un facteur : alors que le vocabulaire peut atteindre 100 000 tokens et la fenêtre de contexte dépasser 200 000 tokens sur les modèles récents, la capacité de raisonnement sur de très longues séquences reste un défi technique.

Biais hérités des données d’entraînement

Les LLM apprennent sur des corpus massifs, comme le corpus BookCorpus de GPT-1 qui contenait 985 millions de mots, ou celui de BERT avec ses 3,3 milliards de mots. Aujourd’hui, les ensembles de données peuvent contenir jusqu’à 10 000 milliards de mots. Or, ces données reflètent les biais de leurs créateurs et de la société. Le modèle les absorbe et les amplifie, ce qui se manifeste de plusieurs façons :

• Biais sexistes : association de rôles et de caractéristiques stéréotypés aux genres.
• Biais politiques : favorisation de certains points de vue selon les corpus utilisés.
• Biais linguistiques : net avantage pour les langues majoritaires, au détriment des langues minoritaires.
• Représentativité faible : les données ne couvrent qu’une part minime de la population mondiale.
• Amplification : les réglages successifs (fine-tuning) peuvent renforcer ces stéréotypes.

Il est crucial de garder ces limites en tête et de croiser les informations fournies par un LLM avec des sources fiables lorsque l’exactitude est primordiale.

Évaluation des performances des modèles

La perplexité reste la mesure la plus courante pour évaluer un LLM : plus elle est faible, mieux le modèle prédit le token suivant. Les lois d’échelle montrent que la performance est liée à la taille du modèle, au volume de données et à la puissance de calcul.

Au-delà d’un certain seuil, des capacités émergentes apparaissent : le modèle résout des tâches qu’il n’a jamais apprises explicitement. Des benchmarks standardisés évaluent connaissances, raisonnement et résolution de problèmes, même si cette mesure reste partielle face à la complexité des usages réels.