Streaming.
En françaisdiffusion en continuAussi : token streaming · diffusion en continu
Envoi de la réponse token par token au fur et à mesure de sa génération, au lieu d’attendre la fin.
Valeurs clés
SSE : en-tête Content-Type: text/event-stream · OpenAI : stream = true
Explication
L’utilisateur voit le texte apparaître immédiatement, ce qui réduit la latence perçue. Les API utilisent souvent les Server-Sent Events, un flux HTTP d’événements texte.
Exemple
Dans une interface de chat, la réponse s’écrit mot après mot.
Limites
La modération et la validation du format sont plus délicates sur une réponse incomplète.
Usages métiers
- Interfaces de chat
Métiers associés
- Développeur web
Compétences mobilisées
- HTTP
- SSE
Notions liées
Chaque ligne se lit comme une phrase : « Streaming utilise Server-Sent Events ».
- utiliseSSE — Server-Sent Eventsévénements envoyés par le serveur
- voir aussiTTFT — Time to First Tokendélai du premier token
- voir aussiLatencylatence
- voir aussiDetokenizationdétokenisation
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
- — Révision de structure : catégorie, relations typées, synonymes séparés des exemples et lien vers la leçon.
Mise à jour le