Streaming.
En françaisdiffusion en continuAussi : SSE · server-sent events · token streaming
Envoi de la réponse token par token au fur et à mesure de sa génération, au lieu d’attendre la fin.
Valeurs clés
SSE : en-tête Content-Type: text/event-stream · OpenAI : stream = true
Explication
L’utilisateur voit le texte apparaître immédiatement, ce qui réduit la latence perçue. Les API utilisent souvent les Server-Sent Events, un flux HTTP d’événements texte.
Exemple
Dans une interface de chat, la réponse s’écrit mot après mot.
Limites
La modération et la validation du format sont plus délicates sur une réponse incomplète.
Usages métiers
- Interfaces de chat
Métiers associés
- Développeur web
Compétences mobilisées
- HTTP
- SSE
Notions liées
- amélioreLatencylatence
- fait partie deAPI — Application Programming Interfaceinterface de programmation applicative
- fait partie deInference Serverserveur d’inférence
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le