Научно-исследовательский институт информационного агентства Синьхуа выпустил отчет о отечественных крупномасштабных моделях: Xunfei Xinghuo № 1, Baidu Wenxin № 2.

Автор: Бу Шуцин

С тех пор, как ChatGPT спровоцировал всплеск инвестиций в искусственный интеллект, отечественные крупномасштабные модели росли как грибы: на начало июля в мире насчитывалось более 80 крупномасштабных моделей искусственного интеллекта со шкалой параметров более 1 млрд. Китай. Как в условиях этой новой тенденции выбирать отечественные крупномасштабные модели? Какая большая модель самая мощная?

12 августа Китайский исследовательский центр развития предпринимательства Научно-исследовательского института информационного агентства Синьхуа опубликовал «Отчет об опыте работы с крупными моделями искусственного интеллекта 2.0» (далее именуемый «Отчет»), который является самым популярным отечественным предприятием, таким как как Baidu Wenxin Yiyan и Ali Tongyi Qianwen Оцениваются общие приложения для больших моделей.

В общей сложности для этой оценки было разработано 500 случайных вопросов, сравнимых с человеческим уровнем, получившим высшее образование, с акцентом на реальную ценность для промышленности и жизни и строго в соответствии с четырьмя основными индексами способностей, индексом IQ, индексом EQ и инструментальным индексом. индекс эффективности Параметр оценки взвешен для обеспечения строгости всего процесса оценки.

Окончательный результат был немного неожиданным.** Сюньфэй Синхуо заняла первое место в этой оценке с общим баллом 1013 и заняла первое место по двум параметрам индекса IQ и индексу эффективности инструментов среди четырех параметров оценки; Baidu Wenxin Yiyan второй и третий соответственно с SenseTime. **

Согласно «Отчету», Xunfei Xinghuo обладает семью основными способностями, а именно генерацией текста, пониманием языка, вопросами и ответами на знания, логическими рассуждениями, математическими способностями, способностями к кодированию и мультимодальными способностями. Обладать междисциплинарными знаниями и способностью понимать язык, а также уметь понимать и выполнять задачи, основанные на естественном диалоге.

** В части базовых способностей разрыв между людьми и ИИ незначителен. ** Производительность Baidu Wenxin является самой привлекательной среди моделей; SenseTime, Zhipu AI hatGLM, 360 Smart Brain показали хорошие результаты, Xunfei Xinghuo, Ali Tongyi Qianwen, Lanzhou Technology Mchat, Kunlun Wanwei Tiangong показали хорошие результаты.

С точки зрения оценки коэффициента умственного развития,** люди по-прежнему имеют явное преимущество, и их оценки самые высокие. **Среди всех оцененных моделей Xunfei Xinghuo и Zhipu A-ChatGLM заняли первое место, Baidu Wenxin Yiyan и Kunlun Wanwei Tiangong показали себя хорошо.

** Разрыв между ИИ и людьми наиболее заметен, когда речь идет об эмоциональном интеллекте. В «Отчете» указано, что явных признаков способности ИИ воспринимать эмоции не наблюдалось. Несмотря на это, SenseTime продемонстрировал высокий EQ, который превзошел своих конкурентов, заняв первое место с результатом 346 баллов, Baidu Wenxin Yiyan и Lanzhou Technology · Mchat заняли второе и третье места соответственно.

Наконец, с точки зрения повышения эффективности работы, «Отчет» считает, что ИИ оказывает мощную поддержку людям, а скорость обработки ИИ намного превышает скорость людей. Однако, несмотря на преимущества высокой скорости и высокой эффективности ИИ, человеческий интеллект и воображение по-прежнему играют незаменимую роль в некоторых сложных и инновационных задачах. Результаты оценки показывают, что Xunfei Xinghuo заняла первое место с результатом 350 и значительно опередила его, а Baidu Wenxin Yiyan и Shangtang Shangdi заняли второе и третье места соответственно.

«Отчет» считает, что по сравнению с июнем 2023 года нынешние крупномасштабные модельные продукты в Китае добились значительного прогресса. Однако по сравнению с людьми, получившими высшее образование, между большими моделями все еще существует определенный разрыв с точки зрения IQ и EQ. Хотя в разных областях ИИ и люди демонстрируют разные преимущества и недостатки, но в целом разработка крупномасштабных моделей ИИ оказала важное положительное влияние на качество и эффективность работы и жизни человека, и масштабные модели ускоряются. в Live и войти в индустрию.