16 августа команда OpenAI объявила о новом использовании ИИ, использовании GPT-4 для разработки политики контента и принятия решений о модерации контента, что обеспечивает более последовательную маркировку, более быстрые циклы обратной связи для уточнения политики и сокращение участия участников проверки вручную.
Модерация контента играет жизненно важную роль в поддержании работоспособности цифровых платформ. Исследователи OpenAI обнаружили, что система модерации контента с использованием GPT-4 может намного быстрее итерировать изменения политики, сокращая время цикла с месяцев до часов.
В то же время GPT-4 также может интерпретировать правила и нюансы в длинных документах политики содержания и немедленно адаптироваться к обновлениям политики, что приводит к более согласованным меткам. Это предлагает более позитивное видение будущего цифровых платформ, где ИИ может помочь регулировать онлайн-трафик в соответствии с политикой конкретной платформы и облегчить физическое и умственное бремя большого числа людей-регуляторов.
Какой тип пользователя доступен: Любой, у кого есть доступ к API OpenAI, может реализовать этот подход для создания собственной системы модерации с помощью ИИ.
Проблемы с модерацией контента
Модерация контента требует кропотливых усилий, внимательности, глубокого понимания контекста и быстрой адаптации к новым вариантам использования, что делает этот процесс трудоемким и сложным. Традиционно бремя этой задачи ложится на кураторов-людей, которые при поддержке более мелких моделей машинного обучения, ориентированных на вертикаль, просеивают большие объемы контента, чтобы отфильтровать токсичные и вредные материалы. Этот процесс является медленным по своей природе и может быть психическим стрессом для человека.
Решено с помощью большой языковой модели (LLM)
Исследовательская группа OpenAI изучает возможность использования LLM для решения этих проблем. Они утверждают, что их большие языковые модели, такие как GPT-4, могут понимать и генерировать естественный язык, что делает их подходящими для модерации контента. Эти модели могут делать умеренные суждения на основе предоставленных им политических указаний.
Благодаря системе процесс разработки и настройки политик модерации контента сократился с месяцев до часов.
После разработки руководящих принципов политики для обзора эксперты по политике могут создать золотой набор данных, определив небольшое количество примеров и присвоив им метки в соответствии с политикой.
Затем GPT-4 читает политику и присваивает метку тому же набору данных, но ответа не видит.
Изучая несоответствия между суждениями GPT-4 и человеческими суждениями, эксперты по политике могут попросить GPT-4 придумать обоснование своих ярлыков, проанализировать двусмысленности в определениях политики, устранить путаницу и предоставить дополнительное понимание политики. Мы можем повторять шаги 2 и 3, пока не будем удовлетворены качеством политики.
Этот итеративный процесс дает усовершенствованные политики контента, которые преобразуются в классификаторы, что позволяет развертывать политику и модерацию контента в масштабе.
В качестве альтернативы, для обработки больших объемов данных в масштабе мы можем использовать прогнозы GPT-4 для точной настройки модели меньшего размера.
Эта простая, но мощная идея предлагает несколько улучшений по сравнению с традиционными методами модерации контента:
Этикетки более стабильны. Политики в отношении контента постоянно развиваются и часто очень детализированы. Люди могут по-разному интерпретировать политику, или некоторым модераторам может потребоваться больше времени, чтобы переварить новые изменения политики, что приведет к непоследовательной маркировке. Напротив, LL.M. чувствителен к нюансам в формулировках и может немедленно адаптироваться к обновлениям политики, предоставляя пользователям единообразный контент.
Более быстрые петли обратной связи. Цикл обновления политик — создание новых политик, их маркировка и сбор отзывов — часто является длительным и затяжным процессом. GPT-4 может сократить этот процесс до нескольких часов, что позволяет быстрее реагировать на новые опасности.
Снизить умственную нагрузку. Постоянное воздействие вредоносного или нежелательного контента может привести к эмоциональному истощению и психологическому стрессу модератора. Автоматизация таких задач приносит пользу тем, кто в них участвует.
На приведенной выше диаграмме показан процесс использования GPT-4 для модерации контента (от разработки политики до широкомасштабной модерации).
В отличие от конституционного ИИ, который в первую очередь опирается на собственные внутренние суждения модели о том, что безопасно, а что нет, подход OpenAI позволяет быстрее и с меньшими усилиями повторять политику контента для конкретной платформы.
(Вверху) Качество маркировки GPT-4 аналогично легко обученным рецензентам (Группа B). Однако опытный и хорошо обученный модератор-человек (группа А) по-прежнему превосходит обоих.
Исследовательская группа OpenAI активно изучает дальнейшие улучшения качества прогнозирования GPT-4, например, путем включения цепочек рассуждений или самокритики. В то же время он также пытается обнаружить неизвестные методы риска и, вдохновленный конституционным ИИ, стремится использовать модели для выявления потенциально опасного контента и дать высокоуровневое описание вредоносного контента. Эти результаты затем послужат основой для обновлений существующих политик в отношении контента или разработки политик, нацеленных на совершенно новые области риска.
*Примечание. Конституционный ИИ — это механизм, разработанный конкурентом Anthropic, основанным бывшими членами OpenAI, для своего крупномасштабного модельного продукта Claude, целью которого является обеспечение «принципиального» подхода к согласованию систем ИИ с человеческими намерениями, что позволяет использовать ChatGPT. -подобные модели используют простой набор принципов в качестве руководства для ответов на вопросы. *
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Команда OpenAI выпустила последнее использование GPT-4 для создания системы просмотра контента и сокращения ручного труда.
16 августа команда OpenAI объявила о новом использовании ИИ, использовании GPT-4 для разработки политики контента и принятия решений о модерации контента, что обеспечивает более последовательную маркировку, более быстрые циклы обратной связи для уточнения политики и сокращение участия участников проверки вручную.
Модерация контента играет жизненно важную роль в поддержании работоспособности цифровых платформ. Исследователи OpenAI обнаружили, что система модерации контента с использованием GPT-4 может намного быстрее итерировать изменения политики, сокращая время цикла с месяцев до часов.
В то же время GPT-4 также может интерпретировать правила и нюансы в длинных документах политики содержания и немедленно адаптироваться к обновлениям политики, что приводит к более согласованным меткам. Это предлагает более позитивное видение будущего цифровых платформ, где ИИ может помочь регулировать онлайн-трафик в соответствии с политикой конкретной платформы и облегчить физическое и умственное бремя большого числа людей-регуляторов.
Какой тип пользователя доступен: Любой, у кого есть доступ к API OpenAI, может реализовать этот подход для создания собственной системы модерации с помощью ИИ.
Проблемы с модерацией контента
Модерация контента требует кропотливых усилий, внимательности, глубокого понимания контекста и быстрой адаптации к новым вариантам использования, что делает этот процесс трудоемким и сложным. Традиционно бремя этой задачи ложится на кураторов-людей, которые при поддержке более мелких моделей машинного обучения, ориентированных на вертикаль, просеивают большие объемы контента, чтобы отфильтровать токсичные и вредные материалы. Этот процесс является медленным по своей природе и может быть психическим стрессом для человека.
Решено с помощью большой языковой модели (LLM)
Исследовательская группа OpenAI изучает возможность использования LLM для решения этих проблем. Они утверждают, что их большие языковые модели, такие как GPT-4, могут понимать и генерировать естественный язык, что делает их подходящими для модерации контента. Эти модели могут делать умеренные суждения на основе предоставленных им политических указаний.
Благодаря системе процесс разработки и настройки политик модерации контента сократился с месяцев до часов.
Этот итеративный процесс дает усовершенствованные политики контента, которые преобразуются в классификаторы, что позволяет развертывать политику и модерацию контента в масштабе.
В качестве альтернативы, для обработки больших объемов данных в масштабе мы можем использовать прогнозы GPT-4 для точной настройки модели меньшего размера.
Эта простая, но мощная идея предлагает несколько улучшений по сравнению с традиционными методами модерации контента:
Этикетки более стабильны. Политики в отношении контента постоянно развиваются и часто очень детализированы. Люди могут по-разному интерпретировать политику, или некоторым модераторам может потребоваться больше времени, чтобы переварить новые изменения политики, что приведет к непоследовательной маркировке. Напротив, LL.M. чувствителен к нюансам в формулировках и может немедленно адаптироваться к обновлениям политики, предоставляя пользователям единообразный контент.
Более быстрые петли обратной связи. Цикл обновления политик — создание новых политик, их маркировка и сбор отзывов — часто является длительным и затяжным процессом. GPT-4 может сократить этот процесс до нескольких часов, что позволяет быстрее реагировать на новые опасности.
Снизить умственную нагрузку. Постоянное воздействие вредоносного или нежелательного контента может привести к эмоциональному истощению и психологическому стрессу модератора. Автоматизация таких задач приносит пользу тем, кто в них участвует.
В отличие от конституционного ИИ, который в первую очередь опирается на собственные внутренние суждения модели о том, что безопасно, а что нет, подход OpenAI позволяет быстрее и с меньшими усилиями повторять политику контента для конкретной платформы.
Исследовательская группа OpenAI активно изучает дальнейшие улучшения качества прогнозирования GPT-4, например, путем включения цепочек рассуждений или самокритики. В то же время он также пытается обнаружить неизвестные методы риска и, вдохновленный конституционным ИИ, стремится использовать модели для выявления потенциально опасного контента и дать высокоуровневое описание вредоносного контента. Эти результаты затем послужат основой для обновлений существующих политик в отношении контента или разработки политик, нацеленных на совершенно новые области риска.
*Примечание. Конституционный ИИ — это механизм, разработанный конкурентом Anthropic, основанным бывшими членами OpenAI, для своего крупномасштабного модельного продукта Claude, целью которого является обеспечение «принципиального» подхода к согласованию систем ИИ с человеческими намерениями, что позволяет использовать ChatGPT. -подобные модели используют простой набор принципов в качестве руководства для ответов на вопросы. *