Top-k Sampling.
En françaiséchantillonnage top-kAussi : top_k · k meilleurs tokens
Méthode qui ne garde que les k tokens les plus probables avant de tirer au sort parmi eux.
Valeurs clés
entier ≥ 1 · Transformers : défaut 50 · k = 1 équivaut au décodage glouton
Explication
Les tokens très improbables sont éliminés, ce qui évite les sorties absurdes. Le nombre de candidats est fixe, contrairement à top-p.
Exemple
Avec k = 40, seuls les 40 meilleurs tokens peuvent être choisis à chaque étape.
Limites
Un k fixe est trop large quand le modèle est sûr et trop étroit quand il hésite ; non exposé par toutes les API.
Usages métiers
- Génération locale
Métiers associés
- Développeur IA
Compétences mobilisées
- Paramétrage de génération
Notions liées
- alternative àTop-p Samplingéchantillonnage par noyau
- alternative àGreedy Decodingdécodage glouton
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le