Token et tokenisation dans les LLM : définition, fonctionnement et guide d’optimisation

Qu’est-ce qu’un token et comment fonctionne la tokenisation dans les LLM ?

Pour comprendre comment fonctionne un LLM (Large Language Model), il faut d’abord saisir ce qu’est un token, car le token est l’unité de base des applications des grands modèles. C’est l’unité de base que le modèle utilise pour lire, comprendre et générer du texte. Sans cette étape préalable, aucun traitement n’est possible.

Qu’est-ce qu’un token exactement ?

Un token n’est pas simplement un mot. C’est une unité élémentaire de texte qui peut prendre plusieurs formes selon la langue et la rareté du terme, et cette diversité justifie des méthodes d’évaluation rigoureuses. Le tokeniseur l’algorithme chargé du découpage décompose le texte brut en ces fragments avant de les convertir en données numériques,.

• Unité élémentaire : fragment de texte brut traité par le modèle
• Mot ou sous-mot : termes fréquents conservés entiers, termes rares décomposés
• Symbole ou ponctuation : espaces, virgules et points comptent aussi
• Fragment de mot rare : ex. « maisonnette » → « maison » + « nette »
• Identifiant numérique : chaque token reçoit un ID unique du vocabulaire du modèle

Le processus de tokenisation étape par étape

La tokenisation est la première étape du pipeline de tout LLM, avant même que le réseau de neurones n’entre en action, et son intégration en entreprise repose sur des cas d’usage ciblés. Le texte brut est découpé en tokens, puis chaque token est converti en identifiant numérique que le modèle peut traiter mathématiquement.

Prenons un exemple concret : la phrase anglaise « The cat sat » sera découpée en 3 tokens (~1 token pour 0,75 mot), tandis qu’une phrase plus complexe avec des mots rares sera fragmentée en plusieurs sous-mots. Le vocabulaire typique d’un LLM contient entre 30 000 et 50 000 tokens, ce qui couvre la grande majorité des termes courants d’une langue.

Ce découpage n’est pas anodin : il détermine directement le coût d’utilisation de l’API et la longueur maximale de texte que le modèle peut traiter, tout comme le fine-tuning permet d’adapter un modèle pré-entraîné à une tâche précise. Un français utilise environ 1,3x plus de tokens qu’un anglais pour dire la même chose, un japonais ou un chinois entre 2 et 3x plus. Cette différence s’explique par la structure des langues et la manière dont les tokeniseurs sont entraînés.

Quelle est la fenêtre de contexte et comment la tokenisation affecte-t-elle le coût d’utilisation des LLM ?

Fenêtre de contexte : définition et limites

La fenêtre de contexte représente le nombre maximal de tokens qu’un LLM peut traiter simultanément, en additionnant l’entrée et la sortie. Concrètement, tout texte dépassant cette limite devient invisible pour le modèle : il ne peut ni le lire, ni s’en souvenir.

Les modèles récents affichent des fenêtres imposantes,. La plupart des API modernes proposent un minimum de 128 000 tokens, et certaines capacités montent bien plus haut c’est le cas de GPT-5, qui peut traiter jusqu’à 400 000 tokens d’un seul tenant, tandis que le réglage de la température contrôle le hasard de la génération. Pour donner un ordre d’idée, cela représente environ 300 000 mots en anglais, soit plusieurs centaines de pages.

Cette limite détermine directement la longueur maximale des documents que vous pouvez analyser et la cohérence des réponses générées,. Un contexte saturé entraîne des réponses tronquées ou des oublis d’instructions placées en début de prompt, d’où l’importance d’une, à l’image d’un meilleur gestionnaire mdp qui centralise et sécurise vos accès observabilité rigoureuse pour détecter ces erreurs silencieuses.

Tarification des API : pourquoi les tokens déterminent le coût

Les fournisseurs d’API facturent chaque requête en fonction du nombre de tokens consommés, avec une règle simple,: les tokens en sortie coûtent 5 à 10 fois plus cher que les tokens en entrée, mais la mise en cache des prompts peut réduire ces coûts de 40 à 60 %. La génération de texte est bien plus coûteuse en calcul que la simple lecture de votre prompt.

• Facturation double : les API facturent à la fois les tokens d’entrée et ceux de sortie.
• Sortie coûteuse : la génération coûte 5 à 10x plus cher que l’analyse de l’entrée.
• Prompts concis : réduire le nombre de tokens de votre prompt réduit directement vos coûts.
• Tokenizer officiel : chaque fournisseur met à disposition un outil pour estimer précisément vos tokens.

Tous les textes ne sont pas égaux face à la tokenisation. Un même contenu peut produire un nombre de tokens très différent selon sa langue d’origine, ce qui a un impact direct sur le coût d’une requête API et sur la consommation de la fenêtre de contexte. La règle de référence est l’anglais, avec un ratio de 1 token pour 0,75 mot.

Pourquoi un tel écart ? L’anglais bénéficie d’une structure de mots courts et fréquents, que les tokeniseurs comme BPE ou Unigram intègrent entiers dans leur vocabulaire, et cette fragmentation est similaire à celle exploitée par l’architecture RAG pour enrichir le contexte. Le français, avec ses accents et ses conjugaisons riches, est davantage fragmenté en sous-mots, ce qui augmente mécaniquement le nombre de tokens. En japonais ou en chinois, où un seul caractère peut véhiculer plusieurs significations, la tokenisation produit souvent un résultat 2 à 3 fois plus volumineux qu’en anglais.

Il faut également souligner que chaque modèle possède sa propre stratégie. Une phrase en japonais générera plus de tokens chez GPT que chez Claude, selon la façon dont chaque tokeniseur a été entraîné. Même un mot courant peut être découpé différemment en fonction de sa position dans la phrase ou de son contexte. Avant d’envoyer une requête, vérifiez systématiquement le tokenizer officiel du modèle que vous utilisez : c’est la seule façon d’obtenir un calcul fiable.

Comment les tokens sont-ils liés à la génération de texte par un LLM ?

Pour choisir entre ces approches, il est essentiel de comparer les coûts et les bénéfices de chaque méthode, comme le détaille notre analyse sur la meilleure approche LLM.

Un LLM fonctionne de manière autorégressive : il ne génère pas une phrase complète d’un bloc, mais prédit chaque token l’un après l’autre. À chaque étape, il calcule une distribution de probabilités sur l’ensemble de son vocabulaire (souvent 30 000 à 50 000 tokens) pour choisir le plus vraisemblable selon la séquence précédente.

Ce token choisi est ensuite ajouté à l’entrée pour prédire le suivant, et ainsi de suite. En pratique, cela signifie que pour produire un texte de 100 tokens (environ un paragraphe), le modèle effectue cent prédictions successives. Chaque token généré représente donc un maillon de la chaîne : c’est cette mécanique séquentielle qui détermine à la fois la richesse du texte et le coût de génération, facturé plus cher en sortie qu’en entrée.

Cette approche explique aussi pourquoi la formulation de vos prompts influence directement la qualité des réponses. Le modèle construit son raisonnement progressivement, token par token, sans jamais « voir » l’ensemble du texte final avant de le produire.

Quelles sont les méthodes de découpage (mots, caractères, sous-mots) et les algorithmes de tokenisation (BPE, Unigram, SentencePiece) ?

Les trois méthodes de découpage du texte

Le choix de la méthode de découpage détermine la granularité des tokens et, par extension, l’efficacité du modèle. Chaque approche présente des compromis distincts entre la taille du vocabulaire et la capacité à gérer des mots inconnus.

– Mots : division par espaces et ponctuation. Simple à comprendre, mais nécessite un vocabulaire très large et génère des tokens inconnus pour tout mot absent de l’entraînement.
– Caractères : vocabulaire minimal (lettres, chiffres, symboles) et zéro token inconnu. En contrepartie, les séquences deviennent longues un mot de 4 lettres représente déjà 4 tokens ce qui alourdit le calcul.
– Sous-mots : compromis optimal. Les mots fréquents restent entiers, tandis que les mots rares sont décomposés en unités plus petites. Par exemple, « maisonnette » devient « maison » + « nette ». C’est l’approche retenue par la quasi-totalité des LLM modernes.

Les algorithmes de tokenisation les plus utilisés

Parmi les algorithmes de sous-mots, le BPE (Byte Pair Encoding) domine très largement le paysage. Il est utilisé par OpenAI, Mistral, Claude et Llama. Son fonctionnement repose sur un entraînement sur un grand corpus : il fusionne itérativement les paires de caractères les plus fréquentes jusqu’à atteindre une taille de vocabulaire cible, généralement comprise entre 30 000 et 50 000 tokens.

D’autres algorithmes existent et répondent à des besoins spécifiques. WordPiece, utilisé par BERT, fonctionne sur un principe similaire au BPE mais optimise la fusion par vraisemblance. Unigram part du principe inverse : il part d’un large vocabulaire et retire progressivement les tokens les moins utiles, ce qui le rend performant pour les modèles multilingues. Enfin, SentencePiece traite le texte comme une séquence brute, y compris les espaces, ce qui facilite la gestion de langues sans séparateurs de mots explicites. La cohérence du vocabulaire est cruciale : un même mot peut être tokenisé différemment selon sa position dans la phrase, ce qui oblige le modèle à apprendre des représentations contextuelles riches.

Quels sont les défis et limites de la tokenisation, et comment estimer le nombre de tokens ?

Les principaux défis et limites de la tokenisation

La tokenisation, bien qu’indispensable, n’est pas sans défauts. Découper un texte en unités plus petites peut entraîner des pertes de précision, surtout pour les expressions ou les mots composés complexes. Voici les limites les plus fréquentes :

– Perte de précision sémantique : le découpage fragmente les expressions figées (ex. « pomme de terre ») en unités isolées qui perdent leur sens global.
– Fragmentation des mots composés : un terme comme « maisonnette » deviendra « maison » + « nette », ce qui peut altérer sa signification pour le modèle.
– Ambiguïté des sous-mots : certains préfixes ou racines (ex. « bio », « anti ») changent de sens selon le contexte, créant des interprétations variables.
– Difficultés multilingues : les langues aux structures très différentes, comme le japonais ou le chinois, nécessitent souvent 2 à 3 fois plus de tokens que l’anglais, ce qui augmente les coûts et ralentit le traitement.
– Mots rares mal interprétés : un jargon spécialisé ou un terme récent, absent du vocabulaire d’entraînement (typiquement 30 000 à 50 000 tokens), sera haché en fragments incohérents.

Ce processus de découpage, bien qu’optimisé, reste exigeant en calcul. Pour un texte français, comptez environ 1,3 fois plus de tokens que pour un texte anglais, ce qui a un impact direct sur la vitesse et le coût des requêtes.

Comment estimer le nombre de tokens avec précision

Pour éviter les dépassements de fenêtre de contexte ou les factures surprenantes, une estimation fiable est cruciale. La méthode la plus simple consiste à utiliser l’ordre de grandeur en anglais : 1 token ≈ 0,75 mot, soit environ 4 caractères. Concrètement, cela signifie que :

– 100 tokens correspondent à environ 75 mots, soit un paragraphe.
– 30 tokens représentent à peu près 1 à 2 phrases.
– 2 048 tokens équivalent à près de 1 500 mots de texte.

Pour une précision maximale, utilisez le tokenizer officiel du modèle que vous utilisez : chaque LLM possède son propre vocabulaire, et le mot « transformer » n’occupera pas le même nombre de tokens chez GPT que chez Claude ou Llama. En cas de doute, et si vous travaillez en français, ajoutez une marge de sécurité : le ratio de 1,3x par rapport à l’anglais est un minimum à prévoir.

Cette maîtrise des coûts s’apparente à la gestion rigoureuse d’un suivi de devis, où chaque poste doit être anticipé pour éviter les dépassements budgétaires.