中国信通院启动大模型技术及应用基准工作

CTOnews.com 3 月 28 日消息，据中国信通院发布，中国信息通信研究院现启动大模型技术及应用基准构建工作，针对当前主流数据集和评估基准多以英文为主，缺少中文特点、文化以及难以满足关键行业应用选型需求等问题，联合业界主流创新主体共同构建一套涵盖多任务领域、多测评维度的基准及测评工具 AISHPerf-LargeModel，推动我国大模型技术及应用的引领创新。

下面是通知内容：

当前大模型已呈现出产业生态不断扩大、场景应用快速涌现、商业路径逐步清晰等特点，成为现阶段人工智能产业的技术创新主线。为进一步推动我国大模型技术创新发展及工程化应用落地，中国信息通信研究院（以下简称"中国信通院"）现启动大模型技术及应用基准构建工作，针对当前主流数据集和评估基准多以英文为主，缺少中文特点、文化以及难以满足关键行业应用选型需求等问题，联合业界主流创新主体共同构建一套涵盖多任务领域、多测评维度的基准及测评工具 AISHPerf-LargeModel，推动我国大模型技术及应用的引领创新。

AISHPerf-LargeModel 属于人工智能软硬件基准测评体系范畴（CTOnews.com注：Performance Benchmarks of Artificial Intelligence Software and Hardware，以下简称 AISHPerf），AISHPerf 由中国信通院牵头构建，旨在面向自主生态建设和产业实际需求，围绕 AI 芯片性能、算法任务表现，构建国产人工智能软硬件领域的测试基准任务，推动相关技术发展。

中国信通院一直以来围绕大模型展开深入的研究及产业培育，在此之前已开展多项工作：

一是大模型能力测评，围绕自然语言处理、多模态技术能力以及系统平台功能构建共计 30 余项细分任务的评估体系，推动完成百度、中科院自动化所及武汉人工智能研究院、联汇科技等创新主体的大规模预训练模型系统能力测评；

二是发布大模型产业生态透视图 V1.0，对当前大模型领域算力设施、基础大模型、平台及服务、大模型典型应用四大关键环节的主要创新主体进行了梳理，同时分析了大模型落地的关键应用模式及演进趋势，目前，已启动产业生态透视图 V2.0 编制，欢迎业界共同参与；

三是依托工信部、科技部等主办的"兴智杯"全国人工智能创新应用大赛，设置基于大规模预训练模型的创新应用方案赛，构建大模型资源池，构建一批能够充分发挥大模型优势、解决领域痛点的创新解决方案。