极光超算推动生成式 AI 发展,将支持运行当今规模最大的大语言模型!
作为阿贡国家实验室 Aurora 超算的首席架构师和主要研究员,Olivier Franza 在这台极具雄心的科学仪器落地的过程中发挥了主导作用。
Aurora 超算是英特尔最近参与的备受瞩目的项目之一,它对英特尔整个系统产品组合都挺有挑战性。事实上,Aurora 超算不仅是世界上最大的 GPU 集群,同时,预计将成为第一台峰值性能达到每秒 2 百亿亿次(2×10^18)浮点运算能力的超算。
作为一位在英特尔工作了 22 年的老兵,在面对 Aurora 超算时,Olivier Franza 还是感受到了压力。
2016 年,Olivier Franza 作为系统硬件架构师加入了 Aurora 项目,2021 年,他成了首席架构师,目睹了 Aurora 项目向基于 GPU 架构的重大转变。
"首席架构师要做的就是根据客户的高标准要求,来调整超算的整体系统架构,"Franza 解释说。"首席架构师也会关注一些基本的参数,比如总体性能指标,功耗情况,还有一些 RAS(可靠性、可用性、可维护性)特性,这些对于构建有扩展性的系统都至关重要。"
当然,首席架构师要关注的是整个系统方方面面,从一个个节点到一个个机架再到整个系统,还要包括各种网络和存储组件,都需要考虑到。
一次技术路线转变为塑造未来产品创造了机会
Aurora 超算是早期规划中计划采用一系列的英特尔产品技术。随着英特尔产品路线的调整,Aurora 的规划也做出改变。
当英特尔宣布打造数据中心 GPU 产品线后,Franza 参与到了英特尔数据中心 GPU Max 系列产品的设计讨论工作当中。
所以说,Aurora 超算不是一步到位成现在这样的。Aurora 超算的构建过程,影响着英特尔战略和产品线规划,也使得 Aurora 超算能在很高的层面解决规模和性能问题。
Franza 表示,英特尔通过从组件到系统做出很多调整来满足 Aurora 超算的需求。
比如,英特尔至强 CPU Max 系列处理器的架构和概念,就衍生自英特尔至强 Phi 的一些特性,这是第一个在封装里集成了高带宽和高容量创新内存架构的产品。
此外,为了追求更高的性能,Aurora 超算的各种子系统都取得了一些进步,从刀片服务器的散热,到高密度集成的方式再到存储部分,都有许多创新。
值得一提的是,在这一过程中,英特尔还构建了一个全新的存储系统 --DAOS(分布式异步对象存储)。
Franza 表示,这是一个开源项目,可以在传统硬件上实现高速存储,而 Aurora 超算是首批使用 DAOS 的用户之一,同时也是目前 DAOS 部署规模最大的用户。
从设计组件到把数千个系统连在一起
Aurora 超算项目加强了英特尔系统级思考能力,也推动了英特尔内部各业务部门之间的协作,与外部阿贡科学家和 HPE(HPE 是该项目的另外一个主要参与者)工程师之间的协作,有很多跨职能部门和跨组织的协作工作。
"让一整个团队统一行动,交付像 Aurora 这样的超级计算机,对我们许多人来说,是一生难得一次的经历。"Franza 说。
尽管工程师在六月份就安装了最后一台刀片服务器,但 Aurora 超算后续的大规模测试、稳定性验证还需要 Franza 夜以继日的工作。
Franza 为一个大的团队提供指导,该团队负责 Aurora 超算的启动、验证、稳定、优化工作,尽可能发挥系统在负载下的性能表现。其中最值得注意的是 High Performance Linpack(HPL)基准测试,这是 Top500 榜单的排名依据,榜单上都是全球最强的超算系统。
每天早上,Franza 都会仔细检查每个节点在夜间的运行情况,并为第二天及以后的工作制定计划。每天下午,Franza 都会开会总结进展和遇到的难题。这样的工作每天都有,而机器也一直在运转当中。
"我们会系统地进行验证,"Franza 解释说。"先从单个刀片服务器开始,然后转向机架规模,再到多个机架规模,以此进行大规模验证。"
Aurora 超算由 10624 台刀片服务器组成,拥有 63744 块英特尔 Max 系列 GPU,是世界上规模最大的 GPU 集群。在 166 个机架当中,使用了一共 21248 块英特尔至强 Max CPU。
Franza 介绍称,Aurora 超算中心的大小相当于 4 个网球场那么大,听起来规模就很大,但只有亲眼看到它,才会真正意识到它有多大。
Franza 的首要工作就是确保系统稳定性,功能完善,还要能正常运行。这是一项非常艰巨的任务,而 Franza 已经看到了胜利的曙光。
走在数据中心的通道里,看着灯光闪烁着,看着机器在正常运转,这令 Franza 感到神清气爽,并且很有满足感和成就感。
"一生一次难得一次"的努力,打造解决科学难题的超级计算机
打造一座有影响力的科研超级计算机固然会面临很多难题和阻碍,但考虑到 Aurora 超算在癌症研究方面的巨大潜力,有机会让所有人受益,Franza 内心的使命感支撑他走了过来。
Aurora 超算不仅会用于解决世界上一些最复杂的科学和工程问题,它还是运行生成式 AI,并将生成式 AI 用于研究的理想平台。
据了解,Aurora 超算将支持迄今为止,规模最大的大型语言模型,即 1 万亿参数的 Aurora GenAI 项目,从而提高科学家的工作效率、简化科学家的工作。
Franza 做的是一件了不起的事情,而工作中令他感到欣慰的还有团队协作和友情。
Aurora 超算是一项工程量浩大的项目,需要许多人付出长期努力,需要大量的毅力。
从 Franza 的介绍中了解到,其核心团队一直保持着马拉松式的心态,直到最后一刻都不能放松,团队需要的是那种能够长时间专注于极具挑战性事物的人,而这些人最终所取得的成就是大部分人都很难做到的。
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售