L'Institut de recherche de l'agence de presse Xinhua a publié un rapport sur les modèles nationaux à grande échelle : Xunfei Xinghuo n° 1, Baidu Wenxin n° 2

Auteur : Bu Shuqing

Depuis que ChatGPT a déclenché une recrudescence des investissements dans l'intelligence artificielle, les modèles nationaux à grande échelle ont poussé comme des champignons. Début juillet, il existe plus de 80 modèles d'intelligence artificielle à grande échelle avec une échelle de paramètres de plus d'un milliard en Chine. . Dans cette nouvelle tendance, comment sélectionner les modèles domestiques à grande échelle ? Quel grand modèle est le plus puissant ?

Le 12 août, le Centre de recherche sur le développement des entreprises de Chine de l'Institut de recherche de l'agence de presse Xinhua a publié le "Rapport sur l'expérience des grands modèles d'intelligence artificielle 2.0" (ci-après dénommé le "Rapport"), qui est l'entreprise de fabrication nationale la plus populaire telle que comme Baidu Wenxin Yiyan et Ali Tongyi Qianwen Les applications générales de grands modèles sont évaluées.

Un total de 500 questions aléatoires ont été conçues pour cette évaluation, comparant le niveau humain qui a reçu une éducation supérieure, mettant l'accent sur la valeur réelle pour l'industrie et la vie, et strictement selon les quatre indices de capacité de base, l'indice de QI, l'indice de QE et l'outil indice d'efficacité La dimension d'évaluation est pondérée pour assurer la rigueur de l'ensemble du processus d'évaluation.

Le résultat final était un peu surprenant. ** Xunfei Xinghuo s'est classé premier dans cette évaluation avec un score total de 1013 points, et s'est classé premier dans les deux dimensions de l'indice de QI et de l'indice d'efficacité des outils parmi les quatre dimensions d'évaluation ; Baidu Wenxin Yiyan Il s'est classé respectivement deuxième et troisième avec SenseTime. **

Selon le "rapport", Xunfei Xinghuo possède sept capacités de base, à savoir la génération de texte, la compréhension du langage, les questions et réponses sur les connaissances, le raisonnement logique, la capacité mathématique, la capacité de codage et la capacité multimodale. Posséder des connaissances inter-domaines et une capacité de compréhension linguistique, et être capable de comprendre et d'effectuer des tâches basées sur un dialogue naturel.

** Dans la partie capacité de base, l'écart entre les humains et l'IA n'est pas significatif. ** Les performances de Baidu Wenxin sont les plus accrocheuses parmi les modèles ; SenseTime, Zhipu AI hatGLM, 360 Smart Brain ont bien performé, Xunfei Xinghuo, Ali Tongyi Qianwen, Lanzhou Technology Mchat, Kunlun Wanwei Tiangong ont bien performé Toujours bien.

En termes d'évaluation du QI,** les humains ont toujours un net avantage, et les scores sont les plus élevés. **Parmi tous les modèles évalués, Xunfei Xinghuo et Zhipu A-ChatGLM se sont classés premiers ; Baidu Wenxin Yiyan et Kunlun Wanwei Tiangong ont obtenu de bons résultats.

** L'écart entre l'IA et les humains est le plus prononcé en ce qui concerne l'intelligence émotionnelle. ** Le "rapport" a déclaré qu'aucun signe évident de la capacité de l'IA à percevoir les émotions n'a été observé. Malgré cela, SenseTime a montré un QE élevé qui a surpassé ses pairs**, se classant premier avec un score de 346, Baidu Wenxin Yiyan et Lanzhou Technology · Mchat se classant respectivement deuxième et troisième.

Enfin, en termes d'amélioration de l'efficacité du travail, le "Rapport" estime que l'IA apporte un soutien important aux humains et que la vitesse de traitement de l'IA dépasse de loin celle des humains. Cependant, malgré les avantages de la vitesse élevée et de la grande efficacité de l'IA, l'intelligence et l'imagination humaines jouent toujours un rôle irremplaçable dans certaines tâches complexes et innovantes. Les résultats de l'évaluation montrent que Xunfei Xinghuo s'est classé premier avec un score de 350 et est loin devant, tandis que Baidu Wenxin Yiyan et Shangtang Shangdi se sont respectivement classés deuxième et troisième.

Le "Rapport" estime que par rapport à juin 2023, les produits modèles actuels à grande échelle en Chine ont fait des progrès significatifs. Cependant, par rapport aux humains hautement éduqués, il existe encore un certain écart entre les grands modèles en termes de QI et de QE. Bien que dans des domaines différents, l'IA et les humains présentent des avantages et des inconvénients différents, mais dans l'ensemble, le développement de modèles d'IA à grande échelle a eu des impacts positifs importants sur la qualité et l'efficacité du travail et de la vie humaine, et les modèles à grande échelle s'accélèrent. dans Live et entrer dans l'industrie.