Le 16 août, l'équipe OpenAI a annoncé une nouvelle utilisation de l'IA, l'utilisation de GPT-4 pour l'élaboration de la politique de contenu et les décisions de modération de contenu, permettant un étiquetage plus cohérent, des boucles de rétroaction plus rapides pour l'affinement de la politique et une participation réduite des participants à l'examen manuel.
La modération de contenu joue un rôle essentiel dans le maintien de la santé des plateformes numériques. Les chercheurs d'OpenAI ont découvert qu'un système de modération de contenu utilisant GPT-4 pouvait itérer les changements de politique beaucoup plus rapidement, réduisant ainsi le temps de cycle de plusieurs mois à plusieurs heures.
Dans le même temps, GPT-4 est également capable d'interpréter les règles et les nuances dans les longs documents de politique de contenu et de s'adapter immédiatement aux mises à jour des politiques, ce qui se traduit par des étiquettes plus cohérentes. Cela offre une vision plus positive de l'avenir des plateformes numériques, où l'IA peut aider à réguler le trafic en ligne selon des politiques spécifiques à la plateforme et à soulager le fardeau physique et mental d'un grand nombre de régulateurs humains.
Quel type d'utilisateur est disponible : toute personne ayant accès à l'API OpenAI peut mettre en œuvre cette approche pour créer son propre système de modération assistée par l'IA.
Défis de modération de contenu
La modération de contenu nécessite des efforts méticuleux, de la sensibilité, une compréhension approfondie du contexte et une adaptation rapide aux nouveaux cas d'utilisation, ce qui rend le processus long et difficile. Traditionnellement, le fardeau de cette tâche incombait aux conservateurs humains, qui, soutenus par de plus petits modèles d'apprentissage automatique spécifiques à la verticale, passaient au crible de gros volumes de contenu pour filtrer les éléments toxiques et nocifs. Ce processus est lent par nature et peut être mentalement stressant pour les humains.
Résolu à l'aide d'un grand modèle de langage (LLM)
L'équipe de recherche OpenAI explore l'utilisation des LLM pour relever ces défis. Ils soutiennent que leurs grands modèles de langage, tels que GPT-4, peuvent comprendre et générer un langage naturel, ce qui les rend adaptés à la modération de contenu. Ces modèles peuvent porter des jugements modérés sur la base des orientations politiques qui leur sont fournies.
Avec le système, le processus de développement et de personnalisation des politiques de modération de contenu a été réduit de plusieurs mois à quelques heures.
Une fois que les directives politiques pour l'examen sont élaborées, les experts en politiques peuvent créer un ensemble de données de référence en identifiant un petit nombre d'exemples et en leur attribuant des étiquettes en fonction de la politique.
GPT-4 lit ensuite la stratégie et attribue une étiquette au même ensemble de données, mais ne voit pas la réponse.
En examinant les écarts entre les jugements du GPT-4 et les jugements humains, les experts en politique peuvent demander au GPT-4 de proposer le raisonnement derrière ses étiquettes, d'analyser les ambiguïtés dans les définitions de politique, de résoudre la confusion et de fournir un aperçu plus approfondi de la politique en conséquence. Nous pouvons répéter les étapes 2 et 3 jusqu'à ce que nous soyons satisfaits de la qualité de la politique.
Ce processus itératif produit des politiques de contenu raffinées qui sont traduites en classificateurs, permettant de déployer à grande échelle la politique et la modération de contenu.
Alternativement, pour traiter de grandes quantités de données à grande échelle, nous pouvons utiliser les prédictions de GPT-4 pour affiner un modèle plus petit.
Cette idée simple mais puissante offre plusieurs améliorations par rapport aux méthodes traditionnelles de modération de contenu :
Les étiquettes sont plus cohérentes. Les politiques de contenu sont en constante évolution et souvent très détaillées. Les gens peuvent interpréter la politique différemment, ou certains modérateurs peuvent prendre plus de temps pour digérer les nouveaux changements de politique, ce qui entraîne un étiquetage incohérent. En revanche, LL.M. est sensible aux nuances de formulation et peut s'adapter immédiatement aux mises à jour des politiques, offrant aux utilisateurs une expérience de contenu cohérente.
Boucles de rétroaction plus rapides. Le cycle de mise à jour des politiques (créer de nouvelles politiques, les étiqueter et recueillir les commentaires humains) est souvent un processus long et fastidieux. GPT-4 peut réduire ce processus à quelques heures, permettant des réponses plus rapides aux nouveaux dangers.
Réduire la charge mentale. Une exposition constante à un contenu nuisible ou répréhensible peut entraîner un épuisement émotionnel et un stress psychologique pour le modérateur. L'automatisation de telles tâches profite au bien-être des personnes impliquées.
Le diagramme ci-dessus explique le processus d'utilisation de GPT-4 pour la modération de contenu (de l'élaboration de politiques à la modération à grande échelle)
Contrairement à l'IA constitutionnelle, qui s'appuie principalement sur les propres jugements internes du modèle sur ce qui est sûr et ce qui ne l'est pas, l'approche d'OpenAI permet d'itérer plus rapidement et avec moins d'efforts sur les politiques de contenu spécifiques à la plate-forme.
(Haut) La qualité de l'étiquetage de GPT-4 est similaire à celle des examinateurs humains légèrement formés (Pool B). Cependant, un modérateur humain expérimenté et bien formé (Pool A) surpasse toujours les deux.
L'équipe de recherche OpenAI explore activement d'autres améliorations de la qualité de prédiction de GPT-4, par exemple en incorporant un raisonnement en chaîne ou l'autocritique. En même temps, il essaie également de détecter des risques inconnus, et inspiré par l'IA constitutionnelle, il vise à utiliser des modèles pour identifier les contenus potentiellement dangereux et donner une description de haut niveau des contenus préjudiciables. Ces résultats éclaireront ensuite les mises à jour des politiques de contenu existantes ou le développement de politiques ciblant des domaines de risque entièrement nouveaux.
*Remarque : L'IA constitutionnelle est un mécanisme développé par le concurrent Anthropic, fondé par d'anciens membres d'OpenAI, pour son produit modèle à grande échelle Claude, qui vise à fournir une approche « basée sur des principes » pour aligner les systèmes d'IA sur l'intention humaine, permettant à ChatGPT Les modèles similaires utilisent un ensemble simple de principes comme guide pour répondre aux questions. *
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
L'équipe OpenAI a publié la dernière utilisation de GPT-4 pour créer un système de révision de contenu et réduire la participation manuelle
Le 16 août, l'équipe OpenAI a annoncé une nouvelle utilisation de l'IA, l'utilisation de GPT-4 pour l'élaboration de la politique de contenu et les décisions de modération de contenu, permettant un étiquetage plus cohérent, des boucles de rétroaction plus rapides pour l'affinement de la politique et une participation réduite des participants à l'examen manuel.
La modération de contenu joue un rôle essentiel dans le maintien de la santé des plateformes numériques. Les chercheurs d'OpenAI ont découvert qu'un système de modération de contenu utilisant GPT-4 pouvait itérer les changements de politique beaucoup plus rapidement, réduisant ainsi le temps de cycle de plusieurs mois à plusieurs heures.
Dans le même temps, GPT-4 est également capable d'interpréter les règles et les nuances dans les longs documents de politique de contenu et de s'adapter immédiatement aux mises à jour des politiques, ce qui se traduit par des étiquettes plus cohérentes. Cela offre une vision plus positive de l'avenir des plateformes numériques, où l'IA peut aider à réguler le trafic en ligne selon des politiques spécifiques à la plateforme et à soulager le fardeau physique et mental d'un grand nombre de régulateurs humains.
Quel type d'utilisateur est disponible : toute personne ayant accès à l'API OpenAI peut mettre en œuvre cette approche pour créer son propre système de modération assistée par l'IA.
Défis de modération de contenu
La modération de contenu nécessite des efforts méticuleux, de la sensibilité, une compréhension approfondie du contexte et une adaptation rapide aux nouveaux cas d'utilisation, ce qui rend le processus long et difficile. Traditionnellement, le fardeau de cette tâche incombait aux conservateurs humains, qui, soutenus par de plus petits modèles d'apprentissage automatique spécifiques à la verticale, passaient au crible de gros volumes de contenu pour filtrer les éléments toxiques et nocifs. Ce processus est lent par nature et peut être mentalement stressant pour les humains.
Résolu à l'aide d'un grand modèle de langage (LLM)
L'équipe de recherche OpenAI explore l'utilisation des LLM pour relever ces défis. Ils soutiennent que leurs grands modèles de langage, tels que GPT-4, peuvent comprendre et générer un langage naturel, ce qui les rend adaptés à la modération de contenu. Ces modèles peuvent porter des jugements modérés sur la base des orientations politiques qui leur sont fournies.
Avec le système, le processus de développement et de personnalisation des politiques de modération de contenu a été réduit de plusieurs mois à quelques heures.
Ce processus itératif produit des politiques de contenu raffinées qui sont traduites en classificateurs, permettant de déployer à grande échelle la politique et la modération de contenu.
Alternativement, pour traiter de grandes quantités de données à grande échelle, nous pouvons utiliser les prédictions de GPT-4 pour affiner un modèle plus petit.
Cette idée simple mais puissante offre plusieurs améliorations par rapport aux méthodes traditionnelles de modération de contenu :
Les étiquettes sont plus cohérentes. Les politiques de contenu sont en constante évolution et souvent très détaillées. Les gens peuvent interpréter la politique différemment, ou certains modérateurs peuvent prendre plus de temps pour digérer les nouveaux changements de politique, ce qui entraîne un étiquetage incohérent. En revanche, LL.M. est sensible aux nuances de formulation et peut s'adapter immédiatement aux mises à jour des politiques, offrant aux utilisateurs une expérience de contenu cohérente.
Boucles de rétroaction plus rapides. Le cycle de mise à jour des politiques (créer de nouvelles politiques, les étiqueter et recueillir les commentaires humains) est souvent un processus long et fastidieux. GPT-4 peut réduire ce processus à quelques heures, permettant des réponses plus rapides aux nouveaux dangers.
Réduire la charge mentale. Une exposition constante à un contenu nuisible ou répréhensible peut entraîner un épuisement émotionnel et un stress psychologique pour le modérateur. L'automatisation de telles tâches profite au bien-être des personnes impliquées.
Contrairement à l'IA constitutionnelle, qui s'appuie principalement sur les propres jugements internes du modèle sur ce qui est sûr et ce qui ne l'est pas, l'approche d'OpenAI permet d'itérer plus rapidement et avec moins d'efforts sur les politiques de contenu spécifiques à la plate-forme.
L'équipe de recherche OpenAI explore activement d'autres améliorations de la qualité de prédiction de GPT-4, par exemple en incorporant un raisonnement en chaîne ou l'autocritique. En même temps, il essaie également de détecter des risques inconnus, et inspiré par l'IA constitutionnelle, il vise à utiliser des modèles pour identifier les contenus potentiellement dangereux et donner une description de haut niveau des contenus préjudiciables. Ces résultats éclaireront ensuite les mises à jour des politiques de contenu existantes ou le développement de politiques ciblant des domaines de risque entièrement nouveaux.
*Remarque : L'IA constitutionnelle est un mécanisme développé par le concurrent Anthropic, fondé par d'anciens membres d'OpenAI, pour son produit modèle à grande échelle Claude, qui vise à fournir une approche « basée sur des principes » pour aligner les systèmes d'IA sur l'intention humaine, permettant à ChatGPT Les modèles similaires utilisent un ensemble simple de principes comme guide pour répondre aux questions. *