大模型的基础设施如何建先要搭千卡万卡规模的网络架构
生成式人工智能(AI)作为一项划时代的技术,经历了巨大的变革和发展。百度杰出系统架构师王雁鹏在深圳的文心大模型技术交流会上表示,生成式AI最显著的特点是模型规模巨大,过去几年以每年10倍的速度增长。生成式AI的智能计算基础设施是一个庞大而复杂的系统,需要从网络架构、存储、加速层、框架和容错等多个方面进行设计和优化。通过这些努力,可以为大规模的生成式AI应用提供稳定、高效且易用的计算基础设施。以往的AI应用中,许多训练任务都可以在单卡或单机上完成,但在大模型时代,完成一个任务需要使用上千甚至上万张显卡。王雁鹏认为,在如此巨大的计算能力需求下,智能计算基础设施的设计范式发生了转变。
一、要构建万卡规模的大模型基础设施,有四个关键点需要关注:
1.需要构建智能计算集群,能够支持高速互联并具备各种异构算力,如中央处理器(CPU)和图形处理器(GPU)等。这需要保证高效的卡间通信。
2.仅有强大的硬件能力并不足以取得良好效果。优化软件堆栈非常重要,优化的结果将体现在训练和推理性能上的加速。
3.高性价比是一个重要考虑因素。构建这样的系统需要合理的技术选择,不一定选择最昂贵的解决方案。合理分层存储和计算,并追求更高的性价比。
4.易用性是前所未有的挑战。在万卡规模下,稳定运行、弹性容错以及一站式应用的易用平台都是重要问题。
百度智能云副总裁朱勇透露,自百度的文心一言技术在3月16日开始内测以来,通过算法和模型的持续优化,其在企业服务中高频场景下的推理性能已经提升了50倍。为了实现这一结果,王雁鹏从技术角度解释了过去一个月的工作和新的技术范式转变。王雁鹏指出,生成式AI是一项跨越式的技术,和以前的技术有了巨大的变革。其最显著的特点是模型规模庞大,每年以10倍的速度增长。之前的AI应用中,许多训练任务可以在单卡或单机上完成,但在大模型时代,需要上千张或上万张卡来完成一个任务。
增加模型规模并不能很好地提升模型的效果和性能,还需要相应地增加数据量级。大模型的数据量级是指数级增长的,这类似于摩尔定律。以前摩尔定律需要每年翻一番,现在大模型的"摩尔定律"更快,大约每8到10个月翻一番。与原来的摩尔定律不同的是,大模型不仅需要芯片的能力,还需要整个芯片、框架和系统的全栈优化。在这种巨大的算力需求下,智能计算基础设施的设计发生了变革。
二、构建万卡规模的网络架构
在如此大规模下,保证网络的扩展性和避免拥塞是非常困难的。大模型的通信特点是有很多集合通信的操作,这可以分解成同号卡之间的集合通信。为了解决这个问题,需要优化网络架构,在同号卡之间建立高速通信通道,以提高整体网络的吞吐量并消除拥塞和冲突的可能性。
除了计算方面,存储也是另一个关键问题。需要具备大容量和高速度,因此设计了多级存储系统。大量数据存储在对象存储系统中,高速训练时需要充当缓存系统的角色。
三、加速层对于AI训练来说,计算过程非常复杂,包括IO预处理、IO读取、各种算子的高性能实现和优化,以及通信的优化和显存利用率。需要在训练加速套件中整合整个软件栈。对于推理加速套件来说更加重要。推理过程对大模型来说是一个巨大的挑战。通过集中攻关和软件优化,百度在文心一言发布后的一个月时间内,使推理性能提高了50倍。
大家都在看
-
科学无法解释的怪事 世界上至今未解之谜 世界上有很多科学无法解释的怪事,这些怪事包括木乃伊之谜,死亡岛传奇,金字塔之谜和死亡公路等。这些怪事都很难用科学来解释,从而成为世界上最让人无法理解的谜团。 1.木乃伊之谜 木乃伊的制作从当前的科技水平 ... 宇宙探索11-22
-
空间的演变:详细解读1维空间到12维空间是什么 1维空间到12维空间是空间的不同维度,见证了空间概念的演变和拓展,这些不同的维度丰富了对宇宙的认知,也为物理学的发展提供了新的思路和视角。 一维空间是最简单的空间形式,只包含一条直线,这条直线只有长度, ... 宇宙探索11-22
-
十亿个核弹扔进黑洞会怎样 黑洞会被摧毁吗? 十亿个核弹扔进黑洞,从物理学的角度分析,对黑洞几乎不会造成任何实质性的伤害,因此根本就无法摧毁黑洞。因为黑洞拥有强大的引力场,任何形式的能量释放,都没有办法与黑洞的引力场相抗衡。 黑洞是宇宙当中最为极 ... 宇宙探索11-22
-
“梦游宇宙:探索无限”展览启幕 11月15日,由当代艺术家玛丽娜·费德洛娃(Marina Fedorova)倾力打造的“梦游宇宙:探索无限”在上海宝龙美术馆举行了开幕仪式,通过绘画、雕塑、数字艺术和虚拟现实等多种媒介呈现,宝龙集团许华琳、宝龙美术馆副 ... 宇宙探索11-21
-
震撼心灵!探索宇宙的无尽奥秘与人类的伟大征程 在浩渺无垠的宇宙中,隐藏着无数令人惊叹的奥秘,吸引着人类的目光,激发着我们无尽的探索欲望。宇宙,就像一本永远翻不完的神秘之书,每一页都写满了未知与奇迹,让我们为之着迷,为之震撼心灵。从古至今,人类对宇 ... 宇宙探索11-21
-
当代艺术家玛丽娜·费德洛娃大型个展“梦游宇宙:探索无限”在上海宝龙美术馆启幕 大型艺术项目“宇宙之梦”的最新呈现,由当代艺术家玛丽娜·费德洛娃(Marina Fedorova)倾力打造的艺术盛宴“梦游宇宙:探索无限”终于登陆上海宝龙美术馆。费德洛娃通过绘画、雕塑、数字艺术和虚拟现实等多种媒介 ... 宇宙探索11-20
-
中国天文学界将发射首个大型巡天空间望远镜,探索宇宙奥秘 中国天文学界在2024年11月宣布,首个大型巡天空间望远镜;中国巡天空间望远镜(CSST)计划于2027年发射。#中国空间工程巡天望远镜即将升空#CSST旨在绘制全景式宇宙高清地图,其设计单次拍摄范围达一平方度,能捕捉约 ... 宇宙探索11-20
-
宇宙究竟有多大?看完后可能会刷新你的认知#探索宇宙#科普 宇宙究竟有多大?1. 我们都清楚太阳系的半径约为一光年,即便现在以光速飞行也要一年的时间才能飞出太阳系,以人类目前的科技水平而言似乎永远也无法逃离太阳系。1977 年美国国家航空航天局 NASA 发射了旅行者 1 号 ... 宇宙探索11-20
-
人工智能引发的宇宙科研革命:改写太空探索规则 当人类将目光投向浩瀚宇宙,渴望解开其中无尽的奥秘时,科技的力量始终是我们最坚实的依靠。在众多前沿科技中,人工智能(AI)的崛起正以前所未有的态势引发一场宇宙科研的革命,彻底改写着太空探索的规则。人工智能 ... 宇宙探索11-19
-
你知道宇宙中存在着这样一颗神奇又恐怖的行星吗? 你知道宇宙中存在着这样一颗神奇又恐怖的行星吗?它的表面温度能把你瞬间冻成冰条,有着能吞掉地球的风暴,还时不时下着钻石雨!还有他是唯一一个给计算出来的行星?你知道是什么星球吗?别急,先点个赞,现在跟你说 ... 宇宙探索11-18
相关文章
- 探索宇宙的漫长旅程:飞出太阳系需要多久?
- 人工智能引发的宇宙科研革命:改写太空探索规则
- 你知道宇宙中存在着这样一颗神奇又恐怖的行星吗?
- 外星人存在与否:跨越宇宙的迷题与探索
- 星际争霸:国际太空探索背后的新角逐,一场宇宙版“权力的游戏”
- 宇宙奥秘的 AI 解读:从星系演化到暗物质探索
- 逐梦星河:中国太空计划开启宇宙探索新纪元
- 地外文明探索:开启宇宙奥秘之门
- 天体力学:探索宇宙的奥秘之匙
- 宇宙探索:科学家发现的 10 种奇怪现象!
- 天文馆新纪元:专家共绘未来蓝图,你准备好探索宇宙了吗?
- 人工智能在宇宙探索中的关键角色:开启太空新时代
- 探索宇宙的奥秘:人类如何实现星际旅行?
- 探索宇宙的重大突破:成功发射盐度探测卫星!🚀🌍
- 太空条约:人类探索宇宙的里程碑🚀🌌
- 你有没有想过,在浩瀚的宇宙深处到底隐藏着多少我们不知道的秘密
- 地下700米的“玻璃球”,探索宇宙之初 #中微子
- 探索宇宙的奇迹:揭开天文学和天体物理学的面纱
- 高校学子带福利院孩子参观海拔最高天文馆 探索宇宙奥秘
- AI 在太空探索中的伦理困境:当机器决定宇宙发现的优先权
热门阅读
-
预言2030年太阳将休眠,恐怖的千年极寒将来临 07-11
-
中国十大元帅之死,多高寿而善终(林彪叛逃而死) 07-11
-
因果报应真实事例,做尽坏事必遭天谴 07-11
-
全球人口减少可能带来的六大教训和好处 07-18
-
离太阳最近的十大恒星排名,宇宙最大十大星球 04-12