Max Tokens.
En françaislongueur maximale de sortieAussi : max_output_tokens · max_new_tokens · max_completion_tokens
Nombre maximal de tokens que le modèle peut générer pour une réponse.
Valeurs clés
API OpenAI : max_output_tokens · Transformers : max_new_tokens
Explication
La génération s’arrête au premier des événements suivants : token de fin, séquence d’arrêt, ou limite atteinte. Cette limite borne le coût et la latence.
Exemple
Avec une limite de 50 tokens, un long résumé est coupé au milieu d’une phrase.
Limites
Une réponse tronquée n’est pas signalée dans le texte lui-même : vérifier la raison d’arrêt (finish_reason).
Usages métiers
- Maîtriser le coût
- Réponses courtes
Métiers associés
- Développeur IA
Compétences mobilisées
- Paramétrage d’API
Notions liées
- fait partie deContext Windowfenêtre de contexte
- alternative àStop Sequenceséquence d’arrêt
- amélioreLatencylatence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le