Sampling.
En françaiséchantillonnageAussi : tirage · décodage par tirage
Tirage au sort du token suivant selon les probabilités données par le modèle.
Explication
Au lieu de prendre toujours le favori, on tire un token au hasard, chacun ayant d’autant plus de chances que sa probabilité est grande. La température, top-k et top-p règlent ce tirage ; une seed le rend reproductible.
Exemple
Si « Fogg » a 60 % et « Passepartout » 30 %, le tirage choisit « Passepartout » environ trois fois sur dix.
Limites
Le tirage apporte de la variété, mais peut choisir un token peu probable qui fait dérailler la suite : d’où les filtres top-k et top-p.
Notions liées
Chaque ligne se lit comme une phrase : « Sampling alternative à Greedy Decoding ».
- alternative àGreedy Decodingdécodage glouton
- alternative àBeam Searchrecherche en faisceau
- utiliseTemperaturetempérature
- utiliseTop-k Samplingéchantillonnage top-k
- utiliseTop-p Samplingéchantillonnage par noyau
- utiliseSeedgraine aléatoire
- voir aussiAutoregressive Generationgénération autorégressive
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le