Pada 16 Agustus, tim OpenAI mengumumkan penggunaan baru AI, penggunaan GPT-4 untuk pengembangan kebijakan konten dan keputusan moderasi konten, memungkinkan pelabelan yang lebih konsisten, umpan balik yang lebih cepat untuk penyempurnaan kebijakan, dan mengurangi partisipasi peserta tinjauan manual.
Moderasi konten memainkan peran penting dalam menjaga kesehatan platform digital. Peneliti OpenAI menemukan bahwa sistem moderasi konten yang menggunakan GPT-4 dapat mengulangi perubahan kebijakan lebih cepat, mengurangi waktu siklus dari bulan ke jam.
Pada saat yang sama, GPT-4 juga mampu menginterpretasikan aturan dan nuansa dalam dokumen kebijakan konten panjang dan segera beradaptasi dengan pembaruan kebijakan, menghasilkan label yang lebih konsisten. Ini menawarkan visi yang lebih positif untuk masa depan platform digital, di mana AI dapat membantu mengatur lalu lintas online sesuai dengan kebijakan khusus platform dan meringankan beban fisik dan mental dari sejumlah besar regulator manusia.
Jenis pengguna apa yang tersedia: Siapa pun yang memiliki akses ke API OpenAI dapat menerapkan pendekatan ini untuk membuat sistem moderasi berbantuan AI mereka sendiri.
Tantangan Moderasi Konten
Moderasi konten memerlukan upaya yang cermat, kepekaan, pemahaman konteks yang mendalam, dan adaptasi cepat terhadap kasus penggunaan baru, membuat prosesnya memakan waktu dan menantang. Secara tradisional, beban tugas ini jatuh pada kurator manusia, yang didukung oleh model pembelajaran mesin khusus vertikal yang lebih kecil, menyaring konten dalam volume besar untuk menyaring bahan beracun dan berbahaya. Proses ini sifatnya lambat dan dapat membuat stres mental bagi manusia.
Diselesaikan menggunakan model bahasa besar (LLM)
Tim peneliti OpenAI sedang menjajaki penggunaan LLM untuk mengatasi tantangan ini. Mereka berpendapat bahwa model bahasa mereka yang besar, seperti GPT-4, dapat memahami dan menghasilkan bahasa alami, sehingga cocok untuk moderasi konten. Model-model ini dapat membuat penilaian moderat berdasarkan panduan kebijakan yang diberikan kepada mereka.
Dengan sistem tersebut, proses pengembangan dan penyesuaian kebijakan moderasi konten telah dikurangi dari hitungan bulan menjadi hitungan jam.
Setelah pedoman kebijakan untuk tinjauan dikembangkan, pakar kebijakan dapat membuat kumpulan data emas dengan mengidentifikasi sejumlah kecil contoh dan memberi mereka label sesuai dengan kebijakan.
GPT-4 kemudian membaca kebijakan dan memberikan label ke kumpulan data yang sama, tetapi tidak melihat jawabannya.
Dengan memeriksa ketidaksesuaian antara penilaian GPT-4 dan penilaian manusia, pakar kebijakan dapat meminta GPT-4 untuk mengemukakan alasan di balik labelnya, menganalisis ambiguitas dalam definisi kebijakan, mengatasi kebingungan, dan memberikan wawasan lebih jauh tentang kebijakan yang sesuai dengan klarifikasi. Kami dapat mengulangi langkah 2 dan 3 hingga kami puas dengan kualitas kebijakan.
Proses berulang ini menghasilkan kebijakan konten yang disempurnakan yang diterjemahkan ke dalam pengklasifikasi, memungkinkan kebijakan dan moderasi konten diterapkan dalam skala besar.
Alternatifnya, untuk memproses data dalam jumlah besar dalam skala besar, kita dapat menggunakan prediksi dari GPT-4 untuk menyempurnakan model yang lebih kecil.
Ide sederhana namun kuat ini menawarkan beberapa peningkatan dibandingkan metode moderasi konten tradisional:
Label lebih konsisten. Kebijakan konten terus berkembang dan seringkali sangat detail. Orang mungkin menginterpretasikan kebijakan secara berbeda, atau beberapa moderator mungkin membutuhkan waktu lebih lama untuk mencerna perubahan kebijakan baru, yang mengakibatkan pelabelan yang tidak konsisten. Sebaliknya, LL.M. peka terhadap perbedaan kata dan dapat segera beradaptasi dengan pembaruan kebijakan, memberikan pengalaman konten yang konsisten kepada pengguna.
Putaran umpan balik yang lebih cepat. Siklus pembaruan kebijakan—membuat kebijakan baru, memberi label, dan mengumpulkan umpan balik manusia—sering kali merupakan proses yang panjang dan berlarut-larut. GPT-4 dapat mengurangi proses ini menjadi beberapa jam, memungkinkan respons yang lebih cepat terhadap bahaya baru.
Mengurangi beban mental. Paparan terus-menerus terhadap konten yang berbahaya atau tidak menyenangkan dapat menyebabkan kelelahan emosional dan tekanan psikologis bagi moderator. Mengotomatiskan tugas semacam itu menguntungkan kesejahteraan mereka yang terlibat.
Diagram di atas menjelaskan proses bagaimana GPT-4 digunakan untuk moderasi konten (dari pengembangan kebijakan hingga moderasi skala besar)
Tidak seperti AI Konstitusional, yang terutama bergantung pada penilaian internal model itu sendiri tentang apa yang aman dan apa yang tidak, pendekatan OpenAI membuat pengulangan pada kebijakan konten khusus platform lebih cepat dan dengan sedikit usaha.
(Atas) Kualitas pelabelan GPT-4 serupa dengan peninjau manusia yang terlatih ringan (Kumpulan B). Namun, moderator manusia yang berpengalaman dan terlatih (Pool A) masih mengungguli keduanya.
Tim peneliti OpenAI secara aktif mengeksplorasi peningkatan lebih lanjut pada kualitas prediksi GPT-4, misalnya dengan memasukkan penalaran berantai atau kritik diri. Pada saat yang sama, ia juga mencoba mendeteksi metode risiko yang tidak diketahui, dan terinspirasi oleh AI Konstitusional, ia bertujuan untuk menggunakan model untuk mengidentifikasi konten yang berpotensi berbahaya dan memberikan deskripsi konten berbahaya tingkat tinggi. Temuan ini kemudian akan menginformasikan pembaruan kebijakan konten yang ada atau pengembangan kebijakan yang menargetkan area risiko yang sama sekali baru.
*Catatan: AI konstitusional adalah mekanisme yang dikembangkan oleh pesaing Anthropic, didirikan oleh mantan anggota OpenAI, untuk produk model berskala besar Claude, yang bertujuan untuk memberikan pendekatan "berbasis prinsip" untuk menyelaraskan sistem AI dengan maksud manusia, yang memungkinkan ChatGPT Model serupa menggunakan seperangkat prinsip sederhana sebagai panduan untuk menjawab pertanyaan. *
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Tim OpenAI merilis penggunaan terbaru GPT-4 untuk membuat sistem peninjauan konten dan mengurangi partisipasi manual
Pada 16 Agustus, tim OpenAI mengumumkan penggunaan baru AI, penggunaan GPT-4 untuk pengembangan kebijakan konten dan keputusan moderasi konten, memungkinkan pelabelan yang lebih konsisten, umpan balik yang lebih cepat untuk penyempurnaan kebijakan, dan mengurangi partisipasi peserta tinjauan manual.
Moderasi konten memainkan peran penting dalam menjaga kesehatan platform digital. Peneliti OpenAI menemukan bahwa sistem moderasi konten yang menggunakan GPT-4 dapat mengulangi perubahan kebijakan lebih cepat, mengurangi waktu siklus dari bulan ke jam.
Pada saat yang sama, GPT-4 juga mampu menginterpretasikan aturan dan nuansa dalam dokumen kebijakan konten panjang dan segera beradaptasi dengan pembaruan kebijakan, menghasilkan label yang lebih konsisten. Ini menawarkan visi yang lebih positif untuk masa depan platform digital, di mana AI dapat membantu mengatur lalu lintas online sesuai dengan kebijakan khusus platform dan meringankan beban fisik dan mental dari sejumlah besar regulator manusia.
Jenis pengguna apa yang tersedia: Siapa pun yang memiliki akses ke API OpenAI dapat menerapkan pendekatan ini untuk membuat sistem moderasi berbantuan AI mereka sendiri.
Tantangan Moderasi Konten
Moderasi konten memerlukan upaya yang cermat, kepekaan, pemahaman konteks yang mendalam, dan adaptasi cepat terhadap kasus penggunaan baru, membuat prosesnya memakan waktu dan menantang. Secara tradisional, beban tugas ini jatuh pada kurator manusia, yang didukung oleh model pembelajaran mesin khusus vertikal yang lebih kecil, menyaring konten dalam volume besar untuk menyaring bahan beracun dan berbahaya. Proses ini sifatnya lambat dan dapat membuat stres mental bagi manusia.
Diselesaikan menggunakan model bahasa besar (LLM)
Tim peneliti OpenAI sedang menjajaki penggunaan LLM untuk mengatasi tantangan ini. Mereka berpendapat bahwa model bahasa mereka yang besar, seperti GPT-4, dapat memahami dan menghasilkan bahasa alami, sehingga cocok untuk moderasi konten. Model-model ini dapat membuat penilaian moderat berdasarkan panduan kebijakan yang diberikan kepada mereka.
Dengan sistem tersebut, proses pengembangan dan penyesuaian kebijakan moderasi konten telah dikurangi dari hitungan bulan menjadi hitungan jam.
Proses berulang ini menghasilkan kebijakan konten yang disempurnakan yang diterjemahkan ke dalam pengklasifikasi, memungkinkan kebijakan dan moderasi konten diterapkan dalam skala besar.
Alternatifnya, untuk memproses data dalam jumlah besar dalam skala besar, kita dapat menggunakan prediksi dari GPT-4 untuk menyempurnakan model yang lebih kecil.
Ide sederhana namun kuat ini menawarkan beberapa peningkatan dibandingkan metode moderasi konten tradisional:
Label lebih konsisten. Kebijakan konten terus berkembang dan seringkali sangat detail. Orang mungkin menginterpretasikan kebijakan secara berbeda, atau beberapa moderator mungkin membutuhkan waktu lebih lama untuk mencerna perubahan kebijakan baru, yang mengakibatkan pelabelan yang tidak konsisten. Sebaliknya, LL.M. peka terhadap perbedaan kata dan dapat segera beradaptasi dengan pembaruan kebijakan, memberikan pengalaman konten yang konsisten kepada pengguna.
Putaran umpan balik yang lebih cepat. Siklus pembaruan kebijakan—membuat kebijakan baru, memberi label, dan mengumpulkan umpan balik manusia—sering kali merupakan proses yang panjang dan berlarut-larut. GPT-4 dapat mengurangi proses ini menjadi beberapa jam, memungkinkan respons yang lebih cepat terhadap bahaya baru.
Mengurangi beban mental. Paparan terus-menerus terhadap konten yang berbahaya atau tidak menyenangkan dapat menyebabkan kelelahan emosional dan tekanan psikologis bagi moderator. Mengotomatiskan tugas semacam itu menguntungkan kesejahteraan mereka yang terlibat.
Tidak seperti AI Konstitusional, yang terutama bergantung pada penilaian internal model itu sendiri tentang apa yang aman dan apa yang tidak, pendekatan OpenAI membuat pengulangan pada kebijakan konten khusus platform lebih cepat dan dengan sedikit usaha.
Tim peneliti OpenAI secara aktif mengeksplorasi peningkatan lebih lanjut pada kualitas prediksi GPT-4, misalnya dengan memasukkan penalaran berantai atau kritik diri. Pada saat yang sama, ia juga mencoba mendeteksi metode risiko yang tidak diketahui, dan terinspirasi oleh AI Konstitusional, ia bertujuan untuk menggunakan model untuk mengidentifikasi konten yang berpotensi berbahaya dan memberikan deskripsi konten berbahaya tingkat tinggi. Temuan ini kemudian akan menginformasikan pembaruan kebijakan konten yang ada atau pengembangan kebijakan yang menargetkan area risiko yang sama sekali baru.
*Catatan: AI konstitusional adalah mekanisme yang dikembangkan oleh pesaing Anthropic, didirikan oleh mantan anggota OpenAI, untuk produk model berskala besar Claude, yang bertujuan untuk memberikan pendekatan "berbasis prinsip" untuk menyelaraskan sistem AI dengan maksud manusia, yang memungkinkan ChatGPT Model serupa menggunakan seperangkat prinsip sederhana sebagai panduan untuk menjawab pertanyaan. *