英特尔高宇：英特尔助力 AI 端侧运行，拥抱 AIGC 时代！

很多人都在欢呼 AI 时代的到来，但其实 AI 这个概念早在 20 世纪 50 年代就诞生了，而且一直都在高速发展和演化，并不是什么新鲜事物。

只不过，几十年来，AI 一直都基本停留在专业领域或者特定行业，距离普通用户比较遥远，一般人很难真切感受到 AI 的力量。

ChatGPT 最大的功劳，恰恰是将 AI-- 确切地说是生成式 AI (AIGC)-- 带到了普通人的生活中。

有了 ChatGPT 和类似的应用，任何人只需一部普通的电脑或者手机，就能感受到 AI 给我们工作生活、娱乐休闲所带来的种种便利 -- 一问一答就能获得自己想要的问题答案、几分钟就能完成一份漂亮的 PPT……

另一方面，虽然这个时候几乎人人都在谈论 AI，从跨国大企业到初创小公司似乎一夜之间都在完全围着 AI 做事，但是正如巴菲特的那句名言："只有退潮了，才知道谁在裸泳。"也只有经历最初的喧嚣，才能看出谁才是认真做 AI，谁才真正有实力做好 AI。

近日，Intel 举办了一场年度技术创新大会，AI 自然是关键词中的关键词，"AI Everywhere"不仅体现在整个大会上，也体现在 Intel 的全线产品和解决方案中，这个话题我们之前也从不同角度探讨过很多次。

当然，作为软硬件实力都在这个星球上属于顶级行列的 Intel，自然也是最有资格谈论 AI 的巨头之一。

正如刚才所说，AI 无处不在，从产品到技术再到应用都有截然不同的丰富场景，普通用户能够最直接感受到的当属 AIGC，包括文生文、文生图、图生图、文生视频、图生视频等等。

而要想实现足够实用的 AIGC，从算力强大的硬件到参数丰富的大模型，从精确合理的算法到高效便捷的应用，缺一不可。

我们知道，在过去，AIGC 更多在云侧服务器上，虽然性能、模型、算法都不是问题，但一则需要大量的资金投入，二则存在延迟、隐私等方面的不足。

因此，AIGC 正越来越多地下沉到终端侧，让普通的 PC 电脑、智能手机也能跑 AIGC，甚至可以离线执行。

Intel 中国技术部总经理高宇先生在接受采访时就表示，关于终端侧运行 AIGC 的研究已经取得了丰硕的成果，比如最新的 13 代酷睿电脑，经国有化已经可以流畅运行 70 亿到 180 亿参数的大模型，尤其是 70 亿到 130 亿参数的运行效果相当好。

当然这些现在还处于起步阶段，目前的优化主要针对 CPU 处理器，下一步会充分发挥 GPU 核显的性能潜力，而代号 Meteor Lake 的下一代酷睿 Ultra 除了有更强的 CPU、GPU 算力，还会首次集成 NPU 单元，一个专用的 AI 加速器，峰值算力超过 11TOPS，三者结合可以达到更好的效果。

对于 PC 端侧运行 AIGC 应用的具体落地实现，高宇举了个例子，Intel 正在打造的一个开源框架 BigDL-LLM，专门针对 Intel 硬件的低比特量化设计，支持 INT3、INT4、INT5、INT8 等各种低比特数据精度，性能更好，内存占用更少。

基于这个框架，使用 i9-12900K 处理器，只开启 4 个核心来运行 ChatGLM2 60 亿参数模型，生成效果就是相当迅速的，而打开全部 8 个 P 核、8 个 E 核，效果更是堪称飞快，输出性能达到了每个 Token 47 毫秒左右，已经不弱于很多云侧计算。

之所以对比两种情况，因为有时候需要将全部算力投入 AI 模型的运算，而有时候可能还得兼顾其他任务。

可以看出，无论哪种情况，Intel PC 侧都已经可以很好地完成相应的 AI 工作，提供令人满意的算力和效率。

此外，在 LLaMA2 130 亿参数大语言模型、StarCoder 155 亿参数代码大模型上，Intel 酷睿处理器也都能获得良好的运行速度。

换到 Arc GPU 显卡上，Intel 硬件跑端侧 AI 同样神速，甚至更快，无论是 ChatGLM2 60 亿参数，还是 LLaMA2 130 亿参数、StarCoder 155 亿参数，都是如此，ChatGLM2 模型中甚至可以缩短到 20 毫秒以下。

当然，以上说的大模型可能距离普通人还有些远，而任何一项技术要想大范围普及，关键还是颠覆用户的切身工作、生活、娱乐体验，AI 当然也不例外。

在高宇看来，基于以上大模型，AI 在端侧的典型应用还是相当丰富的，而且会越来越多，有时候效果会更胜于运行在云侧。

比如超级个人助手，通过低比特量化，在 PC 侧可以获得更好的效果。

比如文档处理，包括中心思想提炼、语法错误纠正等等，PC 侧不仅可以很好地运行，还有利于保护个人隐私和数据安全。

再比如如今大火的 Stable Diffusion 和衍生模型的文生图、文生视频应用，PC 侧的算力也是足够的。

使用 Arc A730M 这样的笔记本独立显卡，就可以在几秒钟内完成高质量的文生图、图生图、图像风格转换等，从而极大地节省工作量，将更多精力放在创意上。

这足以证明，一台普通的笔记本在端侧运行大模型，使用普通独显甚至集显，依然可以获得足够快的响应速度和良好的体验，当然这也得益于 Intel 的专项优化。

当然，归根到底，AIGC 应用在 PC 端侧的普及，离不开足够多、足够好用的生态软件。

这样的软件，一方面可以来自各种商业软件，他们本身就可以集成中小尺寸大语言模型，提供各种 AIGC 内容，一些创作软件甚至可以集成 Stable Diffusion。

另一方面可以来自各家 PC OEM 品牌厂商，在自己的电脑中集成专门开发、优化的 AIGC 软件，预装提供给用户，让 AIGC 真正可用。

当然，端侧运行 AIGC 也不是万能的，一是算力不像云端那么强大，二是内存有限。

目前主流内存容量还是 16GB，哪怕明后年普及 32GB，可以承受的模型参数量也是有限的 (130 亿以下)，这就需要进行低比特处理，比如 FP16 转成 INT4，还好在大语言模型中的问题回答质量只会有个位数的稍许下降，而在 Diffusion 模型中参数又不是很大，可以继续跑 FP16 精度。

事实上，AI 研究虽然已经取得相当丰富的成果，未来必然影响每个行业、每个人，但 AI 依然处在早期阶段，广泛的 AI 工作负载涉及到不同的模型规模、模型类型、整体基础架构的复杂性，还要面临云侧、端侧、混合等不同环境的适应性，这些都要持续探索和优化。

相信随着像 Intel 这样有实力的大企业不但在 AI 应用上取得突破，尤其是将越来越多的 AIGC 应用带到端侧，让越来越多的人感受到 AI 的魅力，它必然会更加广泛、细致地深入我们的工作和生活，成为人们日常不可或缺的一部分，甚至在不知不觉中享受 AI 带来的便利。

这，才是技术造福人类的本源。

（图源：Pixabay）