Batch API.
En françaisAPI par lotsAussi : traitement différé · batch processing
Mode d’appel qui traite un grand nombre de requêtes en différé, à tarif réduit, sans réponse immédiate.
Valeurs clés
OpenAI : résultats sous 24 h, coût réduit de moitié
Explication
On dépose un fichier de requêtes ; le fournisseur les traite quand ses machines sont disponibles et rend un fichier de résultats. Idéal pour ce qui n’attend pas : classer des milliers de documents, lancer une évaluation.
Exemple
Résumer 50 000 avis clients pendant la nuit.
Limites
Aucune interactivité : inadapté à une conversation. Les limites et les tarifs dépendent du fournisseur.
Notions liées
Chaque ligne se lit comme une phrase : « Batch API est un type de Application Programming Interface ».
- est un type deAPI — Application Programming Interfaceinterface de programmation applicative
- voir aussiRate Limitslimites de débit
- voir aussiThroughputdébit
- voir aussiLLM Evaluationévaluation des modèles de langage
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 4 : notions enseignées dans le cours, vocabulaire courant du métier et notions en veille.
Mise en ligne le