GPU时代终结?世界最大芯片加持推理狂飙20倍英伟达H100也被干趴
编辑:桃子 好困
【新智元导读】LLM若以每秒1000+token高速推理,当前最先进的GPU根本无法实现!Cerebras Inference一出世,推理速度赶超英伟达GPU,背靠自研的世界最大芯片加持。而且,还将推理价格打了下来。
LLM若想高速推理,现如今,连GPU都无法满足了?
曾造出世界最大芯片公司Cerebras,刚刚发布了全球最快的AI推理架构——Cerebras Inference。
运行Llama3.1 8B时,它能以1800 token/s的速率吐出文字。
不论是总结文档,还是代码生成等任务,响应几乎一闪而过,快到让你不敢相信自己的眼睛。
如下图右所示,以往,微调版Llama3.1 8B推理速度为90 token/s,清晰可见每行文字。
而现在,直接从90 token/s跃升到1800 token/s,相当于从拨号上网迈入了带宽时代。
左边Cerebras Inference下模型的推理速度,只能用「瞬间」、「疯狂」两字形容。
这是什么概念?
比起英伟达GPU,Cerebras Inference的推理速度快20倍,还要比专用Groq芯片还要快2.4倍。
另外,对于70B参数的Llama3.1,可达到450 token/s及时响应。
值得一提的是,Cerebras并没有因为提高LLM的速度,而损失其精度。
测试中,使用的Llama3.1模型皆是采用了Meta原始16位权重,以便确保响应高精度。
最关键的是,价格还实惠。
根据官方API定价,Llama 3.1 8B每百万token仅需10美分,Llama 3 70B每百万token仅需60美分。
如此之高的性价比,更是打破了业界纪录——
不仅远超之前的保持者Groq,而且和其他平台相比,甚至是隔「坐标轴」相望了。
Artificial Analysis
正是因为Cerebras Inference背后,是由自研的第三代芯片Wafer Scale Engine助力,才得以1/5价格快速推理Llama3.1。
看到自家模型推理如此神速,LeCun、Pytorch之父纷纷动手转发起来。
还有网友看后表示,我想要!
推理很慢,英伟达GPU也不中用?
为什么LLM的响应,就像拨号上网加载网页一样,一个字一个字慢慢地吐出?
关键原因所在,大模型自身的顺序特性,以及需要大量的GPU内存和带宽。
由于GPU的内存带宽限制,如今推理速度为每秒几十个token,而不是数千个。
更进一步说,大模型每个生成的单词,都必须通过整个模型进行处理,即所有参数必须从内存投入到计算中。
而每生成一个单词,就需要一次处理,以此循环往复。
也就是,生成100个单词需要100次处理,因为「下一词」的预测,皆需要依赖前一个单词,而且这个过程无法并行。
那么,想要每秒生成100个单词,就需要所有模型参数,每秒投入计算100次。
由此,这对GPU内存带宽提出了高要求。
以社区流行的Llama3.1-70B模型为例。
模型有700亿参数,每个参数是16位,需要2字节的存储,那整个模型便需要140GB的内存。
想要模型输出一个token,那700亿参数必须从内存,移动到计算核心,以执行前向推理计算。
由于GPU只有约200MB的片上内存,模型无法存储在芯片。
因此,每次生成的token输出时,需将整个占用140GB内存的模型,完整传输到计算中。
再细算下来,为了实现10 token/s,则需要10*140=1.4 TB/s的内存带宽。
那么,一个H100有3.3 TB/s的内存带宽,足以支持这种缓慢的推理。
而若要实现即时推理,需要达到1000 token/s或140 TB/s,这远远超过任何GPU服务器/系统内存带宽。
或许,你想到了一种「暴力」解决方案,将多个GPU串联搭建DGX系统。
这完全是大错特错,更多的处理器只会增加系统的吞吐量(给出更长响应),并不会加速单个查询的响应时间。
自研世界最大芯片,打破推理想象
那么,Cerebras如何打破这一困局呢?
一直以来,这家公司就致力于打造世界上最大芯片,希望将整个模型存储在一个晶片上,以此来解决内存带宽瓶颈。
凭借独特的晶圆设计,WSE-3单个芯片上便集成了44GB SRAM,具备21 PB/s的内存带宽。
单个芯片拥有如此大内存,便消除了对外部内存的需求,以及将外部内存连接到计算的慢速通道。
总的来说,WSE-3的总内存带宽为21PB/s,是H100的7000倍。
它是唯一一款同时具有PB级计算和PB级内存带宽的AI芯片,使其成为高速推理的近乎理想设计。
Cerebras推理不仅速度超快,而且吞吐量巨大。
与小型AI芯片相比,芯片上内存多了约200倍,支持从1-100的批大小,使其在大规模部署时,具有极高的成本效益。
正是有了如此强大的芯片,Cerebras Inference的快速推理得以实现。
它的出现,是为了实现数十亿到万亿参数模型的推理。
如果模型参数超过单个晶圆的内存容量时,研究人员将在「层边界」将其拆分,并映射到多个CS-3系统上。
20B模型适合单个CS-3,而70B模型则至少需要4个这样的系统。
官方表示,未来几周,将会测试更大参数版本的模型,比如Llama3-405B、Mistral Large。
16位精度,不做取舍
推理速率高,并非在模型权重上,做了取舍。
业界中,一些公司试图将模型权重精度,从16位减少到8位,来克服内存带宽的瓶颈。
这样方法,通常会造成模型精度损失,也就是响应结果的准确性、可靠性不如以前。
Cerebras Inference之所以强就强在了,速率和原始权重,皆要顾及。
正如开篇所述,他们采用了原始16位权重运行了Llama3.1 8B和70B。
通过评估,16位模型准确率比8位模型,高出多达5%。尤其是在,多轮对话、数学和推理任务中表现更好。
最优性价比,百万token免费送
目前,Cerebras Inference可通过聊天平台,以及API访问,任何一个人可随时体验。
体验传送门:https://cerebras.ai/blog/introducing-cerebras-inference-ai-at-instant-speed
基于熟悉的OpenAI Chat Completions格式,开发者只需更换API密钥即可集成强大的推理功能。
Cerebras Inference API提供最佳的性能、速度、精度和成本组合。
它是唯一能即时运行Llama3.1-70B的方案,可实现450 token/s,同样使用的是原始16位模型权重。
在此,Cerebras送上大福利,每天为开发者们提供100万个免费token。对于大规模部署,其定价只是H100云的一小部分。
首次推出时,Cerebras提供了Llama3.1 8B和70B模型,而且有能力每天为开发者和企业,提供数千亿token。
接下来几周,他们将增加对更大模型的支持,如Llama3 405B、Mistral Large 2。
有开发者问道,你们提供的rpm(每分钟请求次数)和tpm(每分钟处理token数)是多少?
Cerebras提供了一张针对Llama 3.1 8B和70B模型完整的请求/token处理数的图。
快速推理,不只为速度
最后,让我们来聊聊,为什么快速推理非常重要?
通常,LLM会即刻输出自己的全部想法,而不考虑最佳答案。而诸如scaffolding(脚手架)这类的新技术,则如同一个深思熟虑的智能体,会在作出决定前探索不同的可能解决方案。
这种「先思考后发言」的方式在代码生成等严苛任务中,可以带来超过10倍的性能提升,从根本上提升了AI模型的智能,且无需额外训练。
但这些技术在运行时,需要多达100倍的token。
因此可见,如果我们能大幅缩短处理时间,那么就可以实现更为复杂的AI工作流程,进而实时增强LLM的智能。
速度爆表,但上下文只有8K
虽然在价格和延迟上,Cerebras都不是最低的。
但极致的速度,确实为Cerebras带来了极致的速度-价格和速度-延迟比。
不过,值得注意的是,在Cerebras上跑的Llama 3.1,上下文只有8k……
相比之下,其他平台都是128K。
具体数据如下:
Llama 3.1 70B
Llama 3.1 8B
参考资料:
https://cerebras.ai/blog/introducing-cerebras-inference-ai-at-instant-speed
https://x.com/CerebrasSystems/status/1828464491677524311
https://artificialanalysis.ai/models/llama-3-1-instruct-70b/providers
大家都在看
-
世界最大的河口三角洲,如何养活3亿人口? 大河入海口往往能够冲积出面积巨大的河口三角洲,例如我国的长江三角洲就是一个典型的例子,由于三角洲一般土地肥沃且地形平坦,因此能够承载更多的人口。我国长三角的面积达到了5万 世界最大09-14
-
世界上规模最大城市,中国占不少,为什么东 当我们谈论“世界上最大的城市”时,实际上可以有不同的解读方法。这是因为“最大”这个词可以根据不同的标准来定义,比如人口数量、地理面积、经济规模等。根据联合国2018年世界城市 世界最大09-12
-
世界最大直径水下盾构隧道穿越黄河 9月1日,随着直径17.5米的“山河号”盾构机刀盘缓缓转动,由中铁十四局集团承建的山东省济南市黄岗路穿黄隧道正式开始盾构掘进,标志着世界最大直径水下盾构隧道开启穿越黄河之旅。济 世界最大09-11
-
日本欲建“世界最大”巡逻船 来源,中国国防报日本欲建“世界最大”巡逻船■郭秉鑫 王首岳日本海上保安厅多功能巡逻船概念设计图。据外媒报道,日本海上保安厅近日宣布,将在2025财年预算中申请专项资金,作为建 世界最大09-09
-
世界最大跨度双线铁路连续钢桁拱桥酣建,主 “尖扎黄河特大桥是目前世界上最大跨度双线铁路连续钢桁拱桥,也是中国跨越黄河跨度最大的铁路钢桥,采用连续钢桁拱结构,主桥预计2025年7月完成合龙。”川青铁路尖扎黄河特大桥总设 世界最大09-08
-
盘点世界上10种最大的螃蟹,帝王蟹只能排老 螃蟹这种动物相信大家都不陌生,在生活中,最常见的莫过于市场上的大闸蟹、梭子蟹、帝王蟹和面包蟹等,在农村的小河或者小溪里,也有淡水蟹和河蟹。不知道大家对这种最大的螃蟹了解有 世界最大09-08
-
蛇头蛾身,世界上体型最大的蛾类现身云南 近日,在云南临沧镇康县境内发现一只体型巨大的蛾,经镇康南捧河省级自然保护区管护局鉴定,确定为世界上体型最大的蛾类——乌桕大蚕蛾。乌桕大蚕蛾隶属于鳞翅目大蚕蛾科巨大蚕蛾属, 世界最大09-05
-
全球最大弹药库:占地594平方公里,是谁有 如果说谁能拥有世界上最大的弹药库,恐怕很多人都会认为是被称作“战斗民族”的俄罗斯。毕竟,无论是各国新闻媒体的公开报道,还是他的老对手美国拍的那些部战争电影,都把它推到了这 世界最大09-04
-
全球最大二氧化碳储能电站开工 中新网四川新闻9月2日电 近日,由东方汽轮机有限公司总承包的华电集团木垒100万千瓦二氧化碳压缩空气储能综合能源示范项目,10万千瓦/100万千瓦时二氧化碳储能电站正式签约。9月1日, 世界最大09-03
-
全球最大!在珠海建成! 广州日报新花城记者获悉,日前,由我国自主设计建造的全球单罐容量最大的液化天然气储罐集群——中国海油“金湾绿能港”二期项目在珠海经济技术开发区建成完工。该项目包含5座全球最 世界最大09-01
相关文章
- 全球最大二氧化碳储能电站开工
- 盘点世界上最大的五个岛屿—
- 全球最大!在珠海建成!
- 继续盘点世界上最大的八种鸟类#科普一下
- 全球最大生物:体重超过6000吨,活了8万年
- 说说世界最大的客机
- 远超中国!日本要造世界最大巡逻舰
- GPU时代终结?世界最大芯片加持推理狂飙20
- “桥都”再上新:世界最大跨径公轨两用悬索
- “全球百强”公布!中国蝉联第一!
- 这一数量,中国蝉联世界第一!
- 全球最大规模,并网投运!
- 两名男子穿越世界上最大的连续沙漠迷路后死
- 斥资240亿澳元,澳大利亚要建“世界最大太
- 世界上最大的发电船,给一座岛屿供电5年,
- 容纳11.5万人!为承办2030年世界杯,摩洛哥
- 世界上最大的动物5种
- 世界上最大的飞机:乌克兰安-225,无法复制
- 世界最大纸浆船靠港巴西桑托斯港将驶往中国
- 世界上领土面积最大的十个国家排行如下: 1
热门阅读
-
柳州莫菁视频流出,最终判定是男友所为触及 11-14
-
高岗事件真相令人震惊 究竟有何隐秘内幕 07-14
-
最大的阴茎,世界最长阴径有多长(超级恐怖5 07-14
-
北京大裤衩 也就是中央电视台总部大楼 10-24
-
揭秘翁帆怀孕真相 杨振宁和翁帆的孩子 11-15
-
泷泽萝拉作品,光看一眼就让人欲罢不能 07-14
-
江户四十八手 看一看可以年轻十岁 11-01
-
世界上最大的火车站,在中国(100个足球场大 05-26