5月9日，中文通用大模型综合性评测基准 SuperCLUE 正式发布，GPT-4位列全球第一，国产大模型中讯飞科技研发的星火认知大模型则位列总榜第三、国内第一，表现极为惹眼。

该基准测试主要关注三大问题，包括中文大模型在不同任务上的表现、相较国际代表性模型中文大模型的表现达到的程度，以及中文大模型相较人类的表现。该模型可通过多个层面，考验市面上主流的中文 GPT 大模型的能力，涵盖基础能力、专业能力、中文特性能力。

具体而言，基础能力包括了常见的有代表性的模型能力，如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力；专业能力:包括了中学、大学与专业考试，涵盖了从数学、物理、地理到社会科学等50多项能力；中文特性能力针对有中文特点的任务，包括中文成语、诗歌、文学、字形等10项多种能力。

(资料图片)

该机构利用SuperCLUE测试基准，对市面上主流的支持中文的通用大模型进行了评测与排名。从排名中可看出，GPT-4 一骑绝尘，已经非常接近人类的能力；国产大模型中讯飞科技研发的星火认知大模型则位列总榜第三、国内第一。

以下为该机构公布的各个子项目的具体得分。排行榜将定期更新，并于CLUEbenchmarks 官方网站进行公示。

三个关键升级节点

自去年11月30日ChatGPT发布以来，认知大模型技术阶跃持续进化，人工智能在全球引起了广泛关注，掀起了全新的热潮。在多个领域，认知智能都表现出了非常强大的能力。对于人工智能来说，认知大模型成为通用人工智能的“曙光”，它出现的历史意义不亚于PC或者互联网的诞生。

科大讯飞董事长刘庆峰表示，从ChatGPT关注的48个主要任务方向和讯飞开放平台上400多万开发者团队的需求分析，通用人工智能应当具备七大维度能力，包括文本生成、语言理解，知识问答、逻辑推理、数学能力、代码能力、多模态能力等。

基于对通用人工智能的深刻理解与长期以来在相关领域的深厚沉淀，科大讯飞于5月6日正式发布讯飞星火认知大模型，现场实测大模型七大核心能力，并发布了面向教育、办公、汽车、数字员工四大行业应用成果。

从实测结果来看，讯飞星火认知大模型当前已在文本生成、知识问答、数学能力上效果惊艳。

编故事是文本生成的重要能力之一，星火大模型在这方面的表现堪称精彩。“孙悟空和奥特曼也偷偷潜入了会场，他们都争着想做讯飞星火认知大模型的代言人，还为此吵了一架，请根据上述信息创作一个故事。”星火大模型随即脑洞大开，一段生动的故事就娓娓道来。此外，该模型还能写邮件、做方案、写新闻通稿、生成英文宣传，修改英语语法错误等，展现了作为AI助手的多才多艺。

在语言理解上，星火大模型的变现也很出彩。科大讯飞研究院院长刘聪现场问道，“俗话说男子汉大丈夫宁死不屈，但是俗话又说男子汉大丈夫要能屈能伸，请问这两句话怎么理解？如果一个小伙子跟女朋友吵架了，他应该宁死不屈还是能屈能伸呢？”大模型均很好地理解了特定的句子与场景含义，并随着问题的变化灵活调整自己的答案。精彩的回答也让现场观众报以热烈掌声。刘庆峰表示，星火大模型目前的语言理解能力相比ChatGPT还略有差距，但已超越国内同类产品。

在数学能力方面，讯飞星火大模型展现出了“学霸”的气质。除了常规计算、几何、情景应用等，刘聪现场也抛出了复杂的计算题：“花坛里有三种花，一共88朵，其中月季花的数量是菊花的4倍，牡丹花的数量是菊花的5倍少2朵，那么请问花坛里一共有多少朵牡丹花？”星火大模型很快给出了准确的答案，并给出了解题步骤。刘庆峰表示，数理能力一定程度代表了一个大模型的聪明程度，星火认知大模型已经国内显著领先，且相比ChatGPT也具有一定优势T。

此外，刘聪还展示了大模型面向泛领域的开放式知识问答能力。结果显示，该模型具备很好的通识知识，能够对生活常识、科学知识、工作技巧，以及医学知识等应对自如。

刘庆峰还公布了年内大模型技术持续升级的三个关键节点：6月9日，将突破开放式问答、多轮对话能力明显提升、数学能力再升级；8月15日，代码能力升级以及多模态交互能力提升，希望能帮助到更多的合作伙伴及开发者团队；10月24日，将实现通用模型对标ChatGPT，中文超越ChatGPT的当前版本，英文能做到相当水平，并在教育、医疗等领域做到业界领先。

落地四大行业应用

讯飞星火认知大模型技术正逐渐为更多行业赋能。据悉，科大讯飞已发布了大模型在教育、办公、汽车、数字员工等多个方向的行业应用成果。

在教育领域，科大讯飞推出了“大模型+AI学习机”，让AI像老师一样批改作文，像口语老师一样实景对话。在作文批改上，搭载认知大模型的科大讯飞AI学习机T20系列可实现中英文作文类人批改。相较传统学习机只能针对字词标点纠错、识别句式修辞错误这些基础批改，讯飞AI学习机实现了围绕写作要求、分析全篇结构和文采的深度高阶批改。

在办公领域，科大讯飞推出了“大模型+智能办公本”，根据手写要点自动生成会议纪要，助力办公效能进一步提升。面对口语稿阅读困难、纪要整理耗费精力、已有素材难成稿、长篇文章难抓要点等痛点，搭载大模型技术的讯飞智能办公本升级了会议纪要、语篇规整两大功能。在会议纪要方面，办公本将语音实时转写与墨水屏纸感书写相结合，并可对会议记录内容形成一份精简的会议纪要；在语篇规整方面，办公本可去除语音转写文稿中的口语化词汇、过滤冗余词汇，对文本进行润色等，轻松将一篇语音转写文稿规整成书面化内容，阅读效率提升50%。

在汽车领域，科大讯飞已为数千个车型提供业界领先的智能语音交互服务，提供多轮、多人、多区域、多模态的语音交互，累计服务用户超过4610万，在国内汽车智能语音应用市场保持占有率第一。本次认知大模型技术也将让车载人机交互再上一个新台阶，实现更自由、更拟人化的沟通，让汽车驾驶更智能、更安全、更有乐趣。

在数字员工领域，科大讯飞首创新一代基于大模型的生成式RPA，让数字员工更智能，帮助企业员工完成大量重复性工作。以公司招聘事项为例，操作者输入指令后，系统即可自动按照事先设计的RPA脚本，操作计算机中的相应软件，实现业务流程的自动化操作并输出结果，还能进行数据分析，大幅减轻一线工作人员的压力。

除了上述领域外，讯飞星火认知大模型还将赋能包括医疗、城市、政法、工业等在内的更多行业，满足更多专业领域的需求，向更广阔的产业领域延伸。

标签：