Content Moderation.
En françaismodération de contenuAussi : moderation API · classifieur de sécurité · filtre de contenu
Détection automatique de contenus à risque (haine, violence, contenu sexuel…) en entrée ou en sortie.
Explication
Un classifieur attribue des scores par catégorie ; l’application décide de bloquer, avertir ou escalader vers un humain.
Exemple
Le message d’un utilisateur est vérifié par l’API de modération avant d’être envoyé au modèle.
Limites
Faux positifs et faux négatifs ; les catégories ne couvrent pas tous les risques métier.
Usages métiers
- Applications grand public
Métiers associés
- Trust & Safety
Compétences mobilisées
- Politiques de contenu
Notions liées
- fait partie deGuardrailsgarde-fous
- amélioreJailbreakcontournement
Sources
Vérification et historique
Sources vérifiées le .
- — Première publication — lot 2 : paramètres d’inférence, architecture, entraînement, métriques, RAG, agents et sécurité.
Mise en ligne le