Multimodal Model.
En françaismodèle multimodalAussi : VLM · vision-language model · modèle vision-langage
Modèle capable de recevoir ou produire plusieurs types de données : texte, images, audio ou vidéo.
Explication
Les images ou sons sont convertis en tokens ou en vecteurs que le Transformer traite avec le texte. Le modèle peut ainsi décrire une image ou répondre à une question sur un document scanné.
Exemple
On envoie la photo d’un graphique et on demande d’en extraire les valeurs.
Limites
La lecture fine (petits textes, chiffres) reste fragile ; les images consomment beaucoup de tokens.
Usages métiers
- Analyse de documents
- Accessibilité
Métiers associés
- Ingénieur IA
Compétences mobilisées
- Traitement d’images
Notions liées
- amélioreLLM — Large Language Modelgrand modèle de langage
- utiliseTokenjeton
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le