El 16 de agosto, el equipo de OpenAI anunció un nuevo uso de IA, el uso de GPT-4 para el desarrollo de políticas de contenido y decisiones de moderación de contenido, lo que permite un etiquetado más consistente, ciclos de retroalimentación más rápidos para el refinamiento de políticas y una participación reducida de los participantes en la revisión manual.
La moderación de contenido juega un papel vital en el mantenimiento de la salud de las plataformas digitales. Los investigadores de OpenAI descubrieron que un sistema de moderación de contenido que usa GPT-4 podría iterar los cambios de política mucho más rápido, reduciendo el tiempo del ciclo de meses a horas.
Al mismo tiempo, GPT-4 también puede interpretar las reglas y los matices en documentos de políticas de contenido largo y adaptarse a las actualizaciones de políticas de inmediato, lo que da como resultado etiquetas más consistentes. Esto ofrece una visión más positiva para el futuro de las plataformas digitales, donde la IA puede ayudar a regular el tráfico en línea de acuerdo con las políticas específicas de la plataforma y aliviar la carga física y mental de un gran número de reguladores humanos.
Qué tipo de usuario está disponible: cualquier persona con acceso a la API de OpenAI puede implementar este enfoque para crear su propio sistema de moderación asistido por IA.
Desafíos de moderación de contenido
La moderación de contenido requiere un esfuerzo meticuloso, sensibilidad, una comprensión profunda del contexto y una rápida adaptación a nuevos casos de uso, lo que hace que el proceso sea lento y desafiante. Tradicionalmente, la carga de esta tarea ha recaído en los curadores humanos, quienes, con el apoyo de modelos de aprendizaje automático específicos verticales más pequeños, analizan grandes volúmenes de contenido para filtrar material tóxico y dañino. Este proceso es de naturaleza lenta y puede ser mentalmente estresante para los humanos.
Resuelto usando un modelo de lenguaje grande (LLM)
El equipo de investigación de OpenAI está explorando el uso de LLM para abordar estos desafíos. Argumentan que sus grandes modelos de lenguaje, como GPT-4, pueden comprender y generar lenguaje natural, lo que los hace adecuados para la moderación de contenido. Estos modelos pueden emitir juicios moderados basados en la orientación política que se les proporciona.
Con el sistema, el proceso de desarrollo y personalización de políticas de moderación de contenido se ha reducido de meses a horas.
Una vez que se desarrollan las pautas de políticas para la revisión, los expertos en políticas pueden crear un conjunto de datos de oro identificando una pequeña cantidad de ejemplos y asignándoles etiquetas de acuerdo con la política.
GPT-4 luego lee la política y asigna una etiqueta al mismo conjunto de datos, pero no ve la respuesta.
Al examinar las discrepancias entre los juicios de GPT-4 y los juicios humanos, los expertos en políticas pueden pedirle a GPT-4 que presente el razonamiento detrás de sus etiquetas, analice las ambigüedades en las definiciones de políticas, resuelva la confusión y brinde más información sobre las políticas en consecuencia. Podemos repetir los pasos 2 y 3 hasta que estemos satisfechos con la calidad de la póliza.
Este proceso iterativo produce políticas de contenido refinadas que se traducen en clasificadores, lo que permite que la política y la moderación de contenido se implementen a escala.
Alternativamente, para procesar grandes cantidades de datos a escala, podemos usar las predicciones de GPT-4 para ajustar un modelo más pequeño.
Esta idea simple pero poderosa ofrece varias mejoras sobre los métodos tradicionales de moderación de contenido:
Las etiquetas son más consistentes. Las políticas de contenido evolucionan constantemente y, a menudo, son muy detalladas. Las personas pueden interpretar la política de manera diferente, o algunos moderadores pueden tardar más en digerir los nuevos cambios de política, lo que resulta en un etiquetado inconsistente. Por el contrario, LL.M. es sensible a los matices en la redacción y puede adaptarse de inmediato a las actualizaciones de políticas, brindando a los usuarios una experiencia de contenido consistente.
Bucles de retroalimentación más rápidos. El ciclo de actualizaciones de políticas (crear nuevas políticas, etiquetarlas y recopilar comentarios humanos) suele ser un proceso largo y prolongado. GPT-4 puede reducir este proceso a unas pocas horas, lo que permite respuestas más rápidas a nuevos peligros.
Reducir la carga mental. La exposición constante a contenido dañino u objetable puede provocar agotamiento emocional y estrés psicológico para el moderador. La automatización de tales tareas beneficia el bienestar de los involucrados.
El diagrama anterior explica el proceso de cómo se usa GPT-4 para la moderación de contenido (desde el desarrollo de políticas hasta la moderación a gran escala)
A diferencia de la IA constitucional, que se basa principalmente en los propios juicios internos del modelo sobre lo que es seguro y lo que no, el enfoque de OpenAI hace que la iteración de las políticas de contenido específicas de la plataforma sea más rápida y con menos esfuerzo.
(Arriba) La calidad de etiquetado de GPT-4 es similar a la de revisores humanos ligeramente capacitados (Grupo B). Sin embargo, un moderador humano experimentado y bien capacitado (Grupo A) sigue superando a ambos.
El equipo de investigación de OpenAI está explorando activamente nuevas mejoras en la calidad de predicción de GPT-4, por ejemplo, mediante la incorporación de razonamiento encadenado o autocrítica. Al mismo tiempo, también está tratando de detectar métodos de riesgo desconocidos e, inspirado en la IA constitucional, tiene como objetivo utilizar modelos para identificar contenido potencialmente dañino y dar una descripción de alto nivel del contenido dañino. Estos hallazgos informarán las actualizaciones de las políticas de contenido existentes o el desarrollo de políticas dirigidas a áreas de riesgo completamente nuevas.
*Nota: La IA constitucional es un mecanismo desarrollado por el competidor Anthropic, fundado por ex miembros de OpenAI, para su producto modelo a gran escala Claude, cuyo objetivo es proporcionar un enfoque "basado en principios" para alinear los sistemas de IA con la intención humana, lo que permite que ChatGPT -Los modelos similares utilizan un conjunto simple de principios como guía para responder preguntas. *
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
El equipo de OpenAI lanzó el último uso de GPT-4 para crear un sistema de revisión de contenido y reducir la participación manual
El 16 de agosto, el equipo de OpenAI anunció un nuevo uso de IA, el uso de GPT-4 para el desarrollo de políticas de contenido y decisiones de moderación de contenido, lo que permite un etiquetado más consistente, ciclos de retroalimentación más rápidos para el refinamiento de políticas y una participación reducida de los participantes en la revisión manual.
La moderación de contenido juega un papel vital en el mantenimiento de la salud de las plataformas digitales. Los investigadores de OpenAI descubrieron que un sistema de moderación de contenido que usa GPT-4 podría iterar los cambios de política mucho más rápido, reduciendo el tiempo del ciclo de meses a horas.
Al mismo tiempo, GPT-4 también puede interpretar las reglas y los matices en documentos de políticas de contenido largo y adaptarse a las actualizaciones de políticas de inmediato, lo que da como resultado etiquetas más consistentes. Esto ofrece una visión más positiva para el futuro de las plataformas digitales, donde la IA puede ayudar a regular el tráfico en línea de acuerdo con las políticas específicas de la plataforma y aliviar la carga física y mental de un gran número de reguladores humanos.
Qué tipo de usuario está disponible: cualquier persona con acceso a la API de OpenAI puede implementar este enfoque para crear su propio sistema de moderación asistido por IA.
Desafíos de moderación de contenido
La moderación de contenido requiere un esfuerzo meticuloso, sensibilidad, una comprensión profunda del contexto y una rápida adaptación a nuevos casos de uso, lo que hace que el proceso sea lento y desafiante. Tradicionalmente, la carga de esta tarea ha recaído en los curadores humanos, quienes, con el apoyo de modelos de aprendizaje automático específicos verticales más pequeños, analizan grandes volúmenes de contenido para filtrar material tóxico y dañino. Este proceso es de naturaleza lenta y puede ser mentalmente estresante para los humanos.
Resuelto usando un modelo de lenguaje grande (LLM)
El equipo de investigación de OpenAI está explorando el uso de LLM para abordar estos desafíos. Argumentan que sus grandes modelos de lenguaje, como GPT-4, pueden comprender y generar lenguaje natural, lo que los hace adecuados para la moderación de contenido. Estos modelos pueden emitir juicios moderados basados en la orientación política que se les proporciona.
Con el sistema, el proceso de desarrollo y personalización de políticas de moderación de contenido se ha reducido de meses a horas.
Este proceso iterativo produce políticas de contenido refinadas que se traducen en clasificadores, lo que permite que la política y la moderación de contenido se implementen a escala.
Alternativamente, para procesar grandes cantidades de datos a escala, podemos usar las predicciones de GPT-4 para ajustar un modelo más pequeño.
Esta idea simple pero poderosa ofrece varias mejoras sobre los métodos tradicionales de moderación de contenido:
Las etiquetas son más consistentes. Las políticas de contenido evolucionan constantemente y, a menudo, son muy detalladas. Las personas pueden interpretar la política de manera diferente, o algunos moderadores pueden tardar más en digerir los nuevos cambios de política, lo que resulta en un etiquetado inconsistente. Por el contrario, LL.M. es sensible a los matices en la redacción y puede adaptarse de inmediato a las actualizaciones de políticas, brindando a los usuarios una experiencia de contenido consistente.
Bucles de retroalimentación más rápidos. El ciclo de actualizaciones de políticas (crear nuevas políticas, etiquetarlas y recopilar comentarios humanos) suele ser un proceso largo y prolongado. GPT-4 puede reducir este proceso a unas pocas horas, lo que permite respuestas más rápidas a nuevos peligros.
Reducir la carga mental. La exposición constante a contenido dañino u objetable puede provocar agotamiento emocional y estrés psicológico para el moderador. La automatización de tales tareas beneficia el bienestar de los involucrados.
A diferencia de la IA constitucional, que se basa principalmente en los propios juicios internos del modelo sobre lo que es seguro y lo que no, el enfoque de OpenAI hace que la iteración de las políticas de contenido específicas de la plataforma sea más rápida y con menos esfuerzo.
El equipo de investigación de OpenAI está explorando activamente nuevas mejoras en la calidad de predicción de GPT-4, por ejemplo, mediante la incorporación de razonamiento encadenado o autocrítica. Al mismo tiempo, también está tratando de detectar métodos de riesgo desconocidos e, inspirado en la IA constitucional, tiene como objetivo utilizar modelos para identificar contenido potencialmente dañino y dar una descripción de alto nivel del contenido dañino. Estos hallazgos informarán las actualizaciones de las políticas de contenido existentes o el desarrollo de políticas dirigidas a áreas de riesgo completamente nuevas.
*Nota: La IA constitucional es un mecanismo desarrollado por el competidor Anthropic, fundado por ex miembros de OpenAI, para su producto modelo a gran escala Claude, cuyo objetivo es proporcionar un enfoque "basado en principios" para alinear los sistemas de IA con la intención humana, lo que permite que ChatGPT -Los modelos similares utilizan un conjunto simple de principios como guía para responder preguntas. *