大模型的基础设施如何建先要搭千卡万卡规模的网络架构
生成式人工智能(AI)作为一项划时代的技术,经历了巨大的变革和发展。百度杰出系统架构师王雁鹏在深圳的文心大模型技术交流会上表示,生成式AI最显著的特点是模型规模巨大,过去几年以每年10倍的速度增长。生成式AI的智能计算基础设施是一个庞大而复杂的系统,需要从网络架构、存储、加速层、框架和容错等多个方面进行设计和优化。通过这些努力,可以为大规模的生成式AI应用提供稳定、高效且易用的计算基础设施。以往的AI应用中,许多训练任务都可以在单卡或单机上完成,但在大模型时代,完成一个任务需要使用上千甚至上万张显卡。王雁鹏认为,在如此巨大的计算能力需求下,智能计算基础设施的设计范式发生了转变。
一、要构建万卡规模的大模型基础设施,有四个关键点需要关注:
1.需要构建智能计算集群,能够支持高速互联并具备各种异构算力,如中央处理器(CPU)和图形处理器(GPU)等。这需要保证高效的卡间通信。
2.仅有强大的硬件能力并不足以取得良好效果。优化软件堆栈非常重要,优化的结果将体现在训练和推理性能上的加速。
3.高性价比是一个重要考虑因素。构建这样的系统需要合理的技术选择,不一定选择最昂贵的解决方案。合理分层存储和计算,并追求更高的性价比。
4.易用性是前所未有的挑战。在万卡规模下,稳定运行、弹性容错以及一站式应用的易用平台都是重要问题。
百度智能云副总裁朱勇透露,自百度的文心一言技术在3月16日开始内测以来,通过算法和模型的持续优化,其在企业服务中高频场景下的推理性能已经提升了50倍。为了实现这一结果,王雁鹏从技术角度解释了过去一个月的工作和新的技术范式转变。王雁鹏指出,生成式AI是一项跨越式的技术,和以前的技术有了巨大的变革。其最显著的特点是模型规模庞大,每年以10倍的速度增长。之前的AI应用中,许多训练任务可以在单卡或单机上完成,但在大模型时代,需要上千张或上万张卡来完成一个任务。
增加模型规模并不能很好地提升模型的效果和性能,还需要相应地增加数据量级。大模型的数据量级是指数级增长的,这类似于摩尔定律。以前摩尔定律需要每年翻一番,现在大模型的"摩尔定律"更快,大约每8到10个月翻一番。与原来的摩尔定律不同的是,大模型不仅需要芯片的能力,还需要整个芯片、框架和系统的全栈优化。在这种巨大的算力需求下,智能计算基础设施的设计发生了变革。
二、构建万卡规模的网络架构
在如此大规模下,保证网络的扩展性和避免拥塞是非常困难的。大模型的通信特点是有很多集合通信的操作,这可以分解成同号卡之间的集合通信。为了解决这个问题,需要优化网络架构,在同号卡之间建立高速通信通道,以提高整体网络的吞吐量并消除拥塞和冲突的可能性。
除了计算方面,存储也是另一个关键问题。需要具备大容量和高速度,因此设计了多级存储系统。大量数据存储在对象存储系统中,高速训练时需要充当缓存系统的角色。
三、加速层对于AI训练来说,计算过程非常复杂,包括IO预处理、IO读取、各种算子的高性能实现和优化,以及通信的优化和显存利用率。需要在训练加速套件中整合整个软件栈。对于推理加速套件来说更加重要。推理过程对大模型来说是一个巨大的挑战。通过集中攻关和软件优化,百度在文心一言发布后的一个月时间内,使推理性能提高了50倍。
大家都在看
-
从狄拉克预言到反物质研究:科学探索的旅程 一、宇宙能源探索之路人类对能源的需求伴随着文明的发展不断增长。从最开始利用火与柴草,到工业革命时期的煤炭与蒸汽机、石油与内燃机,能源的变革推动着人类社会的进步。在化石能源 宇宙探索09-24
-
宇宙文明等级如何划分?人类是否是高级文明 在我们这个浩瀚无边的宇宙中,是否存在着远远超越我们的外星文明?上世纪60年代,前苏联著名天文学家尼古拉·卡尔达舍夫提出了根据能量利用来衡量宇宙文明发展水平的划分方法,奠定了 宇宙探索09-22
-
印度政府已批准4个大型太空项目:登陆金星 印度政府已批准4个大型太空项目:登陆金星,探索未知宇宙最近,印度政府的一项重大决定引发了全球的关注:他们已经批准了四个大型太空项目,其中最引人注目的就是计划登陆金星!这不 宇宙探索09-22
-
英媒:研究人员警告称,马斯克“星链”严重 古有星象观天象,今有星链扰科研。科研之窗被蔽,宇宙探索受阻,马斯克的宏图或成双刃剑。在浩瀚的宇宙探索舞台上,科学家与企业家马斯克及其SpaceX公司的“星链”计划,意外地成为了舞台 宇宙探索09-21
-
星际飞船,带你探索宇宙的奥秘。 在无垠的宇宙探索之旅中,星辰号如同孤勇者,穿越未知,寻找着那传说中的奇迹之地。今天,它将带领我们揭开一个古老星系的神秘面纱。船长杰克,这位经验丰富的领航者,他的每一个决定 宇宙探索09-21
-
揭秘宇宙,探索天文奇境 【探秘宇宙,解锁天文奇境 —— 与天文学专家共赴星辰之旅】在浩瀚的宇宙苍穹之下,每一颗星辰都承载着无尽的奥秘,每一片星云都诉说着宇宙的故事。为了引领您深入这神秘莫测的天文世 宇宙探索09-21
-
黑洞是什么?探索宇宙的神秘家伙 在浩瀚的宇宙中,黑洞无疑是最神秘、最引人入胜的天体之一。它们不仅挑战着我们对物理学的理解,还引发了无数关于宇宙本质的思考。那么,黑洞究竟是什么?它们是如何形成的?它们对宇 宇宙探索09-20
-
探索宇宙83-宇宙浩渺 地球之暖何以为继 那么我们的蓝色星球为什么会变暖 ?这是无缘无故吗 ?非也!我们所居住的地球可算是个大温室 ,因为靠近地表大气层中的二氧化碳就像温室中的玻璃和塑料薄膜 ,阳光可以射进 ,但热量 宇宙探索09-20
-
印度太空雄心曝光:金星登陆计划获批,还将 印度太空雄心曝光:金星登陆计划获批,还将开启哪些宇宙探索?飞天巨梦与现实考量:印度太空雄心的喜与忧一、月球,火星,下一个是金星?印度太空梦高歌猛进2024年9月19日,印度内阁 宇宙探索09-20
-
宇宙到底有没有颜色?为什么人眼看不到? # 宇宙中的天体到底有没有颜色?为什么人眼看不到?先说结论:很多天体其实是有颜色的,在光污染弱的地方其实能肉眼看到很多明亮的天体(比如 M42)。人眼看不到是因为:1. 有的天体本身 宇宙探索09-20
相关文章
- 探索宇宙83-宇宙浩渺 地球之暖何以为继
- 印度太空雄心曝光:金星登陆计划获批,还将
- 宇宙到底有没有颜色?为什么人眼看不到? #
- AI探索宇宙结构新突破!超精准场级模拟,半
- 探索宇宙81-宇宙之蓝 危在旦夕 守护臭氧层
- 在人类探索宇宙的漫长旅程中
- 探索宇宙的钥匙
- 神秘宇宙#探索宇宙
- 探索宇宙法则的博士研究》 摘要
- 多维宇宙揭秘:探索我们看不见的世界
- 人类认知宇宙的第一步:探索火星
- 揭秘宇宙奥秘:物质与能量的华丽交织,探索
- 智能化宇宙:人工智能与大数据的宇宙探索
- 进入黑洞的人去哪了 进入黑洞会永生吗
- 宇宙文明七个等级是什么 宇宙文明等级的划
- 宇宙:无限与界限的深邃探索
- 探索宇宙的奥秘:NASA最新发现揭示外星生命
- 探索宇宙:人类的伟大征程与深远意义
- 宇宙的探索乐章:山大ATLAS与希格斯粒子的
- 探寻神秘星空,揭开宇宙奥秘的奇幻之旅
热门阅读
-
离太阳最近的十大恒星排名,宇宙最大十大星 04-12
-
中国十大元帅之死,多高寿而善终(林彪叛逃 07-11
-
全球人口减少可能带来的六大教训和好处 07-18
-
预言2030年太阳将休眠,恐怖的千年极寒将来 07-11
-
中国空间站离地球有多少公里有多大,400公 08-06
-
因果报应真实事例,做尽坏事必遭天谴 07-11
-
中国“天宫”空间站将在2022年前后建成 呈T 03-29
-
连杀6童挖心炖汤,泰国食人魔被制成干尸示 07-21