Lembaga Penelitian Kantor Berita Xinhua merilis laporan tentang model skala besar domestik: Xunfei Xinghuo No.1, Baidu Wenxin No.2

Pengarang: Bu Shuqing

Sejak ChatGPT memicu peningkatan investasi kecerdasan buatan, model skala besar domestik bermunculan seperti jamur.Pada awal Juli, ada lebih dari 80 model kecerdasan buatan skala besar dengan skala parameter lebih dari 1 miliar di Cina. Di bawah tren baru ini, bagaimana seharusnya model skala besar domestik dipilih? Model besar mana yang paling kuat?

Pada tanggal 12 Agustus, Pusat Penelitian Pengembangan Perusahaan China dari Lembaga Penelitian Kantor Berita Xinhua merilis "Laporan Pengalaman Model Besar Kecerdasan Buatan 2.0" (selanjutnya disebut sebagai "Laporan"), yang merupakan perusahaan buatan dalam negeri paling populer seperti sebagai Baidu Wenxin Yiyan dan Ali Tongyi Qianwen.Aplikasi model besar umum dievaluasi.

Sebanyak 500 pertanyaan acak dirancang untuk evaluasi ini, mengacu pada tingkat manusia yang telah menerima pendidikan tinggi, menekankan nilai sebenarnya bagi industri dan kehidupan, dan secara ketat sesuai dengan empat indeks kemampuan dasar, indeks IQ, indeks EQ, dan alat. indeks efisiensi Dimensi evaluasi diberi bobot untuk memastikan ketelitian seluruh proses evaluasi.

Hasil akhirnya sedikit mengejutkan **Xunfei Xinghuo peringkat pertama dalam evaluasi ini dengan total skor 1013 poin, dan peringkat pertama dalam dua dimensi indeks IQ dan indeks efisiensi alat di antara empat dimensi evaluasi; Baidu Wenxin Yiyan Peringkatnya kedua dan ketiga masing-masing dengan SenseTime. **

Menurut "Laporan", Xunfei Xinghuo memiliki tujuh kemampuan inti, yaitu pembuatan teks, pemahaman bahasa, pertanyaan dan jawaban pengetahuan, penalaran logis, kemampuan matematika, kemampuan pengkodean, dan kemampuan multimodal. Memiliki pengetahuan lintas domain dan kemampuan pemahaman bahasa, serta mampu memahami dan melakukan tugas berdasarkan dialog alami.

** Di bagian kemampuan dasar, jarak antara manusia dan AI tidak signifikan. **Kinerja Baidu Wenxin adalah yang paling menarik perhatian di antara para model; SenseTime, Zhipu AI hatGLM, 360 Smart Brain tampil baik, Xunfei Xinghuo, Ali Tongyi Qianwen, Lanzhou Technology Mchat, Kunlun Wanwei Tiangong tampil baik Masih bagus.

Dalam hal penilaian IQ,** manusia masih memiliki keunggulan yang jelas, dan skornya adalah yang tertinggi. **Di antara semua model yang dievaluasi, Xunfei Xinghuo dan Zhipu A-ChatGLM menempati peringkat pertama; Baidu Wenxin Yiyan dan Kunlun Wanwei Tiangong berkinerja baik.

Kesenjangan antara AI dan manusia paling menonjol dalam hal kecerdasan emosional. ** "Laporan" menyatakan bahwa tidak ada tanda-tanda yang jelas dari kemampuan AI untuk memahami emosi yang telah diamati. Meskipun demikian, SenseTime menunjukkan EQ tinggi yang melampaui rekan-rekannya, peringkat pertama dengan skor 346, Baidu Wenxin Yiyan dan Lanzhou Technology · Mchat masing-masing menempati peringkat kedua dan ketiga.

Terakhir, dalam hal peningkatan efisiensi kerja, "Laporan" percaya bahwa AI memberikan dukungan yang kuat bagi manusia, dan kecepatan pemrosesan AI jauh melebihi manusia. Namun, terlepas dari keunggulan kecepatan tinggi dan efisiensi AI yang tinggi, kecerdasan dan imajinasi manusia masih memainkan peran yang tak tergantikan dalam beberapa tugas yang kompleks dan inovatif. Hasil evaluasi menunjukkan bahwa Xunfei Xinghuo menempati peringkat pertama dengan skor 350 dan jauh di depan, sedangkan Baidu Wenxin Yiyan dan Shangtang Shangdi masing-masing menempati peringkat kedua dan ketiga.

"Laporan" percaya bahwa dibandingkan dengan Juni 2023, produk model skala besar saat ini di China telah membuat kemajuan yang signifikan. Namun, dibandingkan dengan manusia berpendidikan tinggi, masih ada kesenjangan tertentu antara model besar dalam hal IQ dan EQ. Meskipun di bidang yang berbeda, AI dan manusia menunjukkan kelebihan dan kekurangan yang berbeda, tetapi secara keseluruhan, pengembangan model skala besar AI telah membawa dampak positif yang penting pada kualitas dan efisiensi pekerjaan dan kehidupan manusia, dan model skala besar semakin cepat. menjadi Live dan memasuki industri.