Repetition Penalty.
En françaispénalité de répétitionAussi : frequency penalty · presence penalty · pénalité de fréquence · pénalité de présence
Ajustement des logits qui réduit la probabilité des tokens déjà présents dans le texte.
Valeurs clés
OpenAI : frequency_penalty et presence_penalty de −2,0 à 2,0, défaut 0 · Transformers : repetition_penalty, 1,0 = aucune
Explication
La pénalité de présence s’applique dès qu’un token est apparu ; celle de fréquence augmente avec son nombre d’apparitions. Elles réduisent les boucles et les répétitions.
Exemple
Une pénalité de fréquence de 0,5 évite qu’une liste répète trois fois le même mot.
Limites
Trop forte, elle pousse le modèle à éviter des mots nécessaires (noms propres, termes techniques).
Usages métiers
- Texte plus varié
Métiers associés
- Développeur IA
Compétences mobilisées
- Paramétrage de génération
Notions liées
- utiliseLogitslogits
- amélioreTemperaturetempérature
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le