Chunking.
En françaisdécoupage en passagesAussi : segmentation de documents · découpage en chunks
Découpage des documents en segments manipulables par la recherche et le modèle.
Valeurs clés
repères courants : quelques centaines de tokens par passage, avec un léger chevauchement
Explication
La taille et le chevauchement des segments influencent le contexte retrouvé. Un découpage peut respecter les titres, paragraphes ou structures métier plutôt qu’une longueur fixe.
Exemple
Un manuel est séparé par section et chaque passage conserve son titre comme métadonnée.
Limites
Des passages trop courts perdent le contexte ; des passages trop longs réduisent la précision et consomment la fenêtre de contexte.
Usages métiers
- Préparation d’index documentaire
Métiers associés
- Ingénieur recherche
- Documentaliste
Compétences mobilisées
- Traitement documentaire
- Conception de recherche
Notions liées
- fait partie deRAG — Retrieval-Augmented Generationgénération augmentée par récupération
- s’appuie surEmbeddingplongement vectoriel
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 1 : définition relue à partir des sources citées.
Mise en ligne le