Grand modèle de langage (LLM) : fonctionnement, entraînement et applications
Grand modèle de langage (LLM) : fonctionnement, entraînement et applications Un LLM prédit le token suivant via un réseau de neurones profond. Pipeline en 5 étapes : tokenisation, embeddings, Transformer, probabilités, génération. Auto-attention (2017) avec vecteurs Query, Key, Value. Vocabulaire jusqu’à 100 000 tokens, sortie en vecteur de probabilités. Température : 0.0–0.3 factuel, 0.5–0.7 dialogue,…
