骁龙 5G 手机可运行 10 亿大模型！高通侯明娟解析终端侧 AI 关键作用

在 2023 年中国国际服务贸易交易会成果发布活动上，高通公司全球副总裁侯明娟参与《混合 AI 是 AI 的未来》白皮书线下发布会，并分享在 AI 领域的观察和展望。她指出，高通 AI 研发最关注的领域，是如何在低功耗环境下，让 AI 更高效地运行。高通致力于通过提供高效的硬件、算法和软件工具，持续推动终端侧 AI 性能功耗比提升。她还推荐大家前去高通展台参观，看看 10 亿级生成式 AI 模型在高通骁龙 5G 手机平滑运行的演示。

侯明娟谈到，在 ChatGPT 引起的热潮下，生成式 AI 带来空前的发展机遇，AI 以惊人的速度快速走进人们生活的方方面面，从最熟悉的电脑，扩展到智能手机、智能汽车、智能工厂、智能检测等。她指出，混合 AI 架构在云端和终端侧之间分配并且协同处理 AI 的工作负载，能让这些终端的用户获得更好的 AI 使用体验，终端侧 AI 将发挥更关键的作用，只有实现 AI 在终端侧的普及，才能够实现 AI 的规模化扩展。

她分析了终端侧 AI 在普及 AI 中起关键作用的原因。目前云端 AI 的算力成本是搜索引擎的 10 倍，这些额外算力每年带来数十亿美元的运算成本，算力不足是阻碍 AI 快速普及的最大原因。混合 AI 架构可以根据需求功能的复杂程度，选择在云端运行，或者在终端侧运行，或者在终端和云端之间动态分配负载，如果超过终端侧算力，就通过 5G 等网络，无缝切换到云端推理，然后返回演算成果。终端侧 AI 可以有效的分担算力，降低云端 AI 触及算力瓶颈的概率。

侯明娟指出，高通的许多科学家投入很大的研发精力，持续迭代优化硬件和软件，提高终端侧 AI 性能功耗比。高通还推出 AI 软件栈，整合 AI 框架、开发者库、系统软件和操作系统。在软件栈的助力下，开发者只需一次开发，就能在不同的终端类型，不同的操作系统上，扩展 AI 应用。

侯明娟解释，高通推出《混合 AI 是 AI 未来》白皮书的目的是，与业界分享高通对 AI 技术发展和应用趋势的理解，并希望产生和更多产业伙伴合作的机会，共同探索 AI 技术普惠之路。高通对终端侧 AI 的应用前景充满希望，期待和业界一起，把 AI 能力扩展到更广泛的领域。此前高通通过"发明-分享-协作"的模式，在 5G 智能手机领域获得巨大的成功，能否将这些成功的经验复制到 AI 领域，值得期待。