英伟达:创造DeepSeek-R1推理性能世界纪录
创始人
2025-03-19 20:14:25
0

(文/汤普济 编辑/吕栋)

当地时间3月18日,黄仁勋于GTC AI大会上发表演讲,发布最新一代Blackwell Ultra GPU(GB300)。同日, 英伟达官方博客发布文章,宣布利用Blackwell架构GPU实现DeepSeek-R1模型推理性能的世界纪录。

英伟达此次利用单个配备八块Blackwell架构B200 GPU的英伟达DGX系统,在英伟达评价为“超大规模、最先进的“DeepSeek-R1模型上,实现每用户每秒可处理超过250个token的性能,或每秒最大吞吐量超过30000个token。

NVIDIA

英伟达于2025年1月30日在面向开发者的网站上发布NVIDIA NIM微服务版的DeepSeek,之后,英伟达不断通过优化推理生态,刷新DeepSeek-R1模型的吞吐量。英伟达声称,自1月以来,DeepSeek-R1 671B模型的吞吐量已被提高了约36倍,相当于每token的成本降低了约32倍。

同时,英伟达声称,纪录还将随着Blackwell Ultra GPU和 Blackwell GPU在推理性能上的突破刷新。

据悉,英伟达此次发布的GB300是全球首个288GB HBM3E GPU,FP4推理性能可达去年发布的GB200的1.5倍,峰值可达15PFLOPS。将在2025年下半年出货。

英伟达还预览了下一代AI超级芯片——Vera Rubin,由Rubin GPU和Vera CPU组成。Vera CPU拥有88个定制Arm核心、176个线程。Rubin由两块掩模尺寸的GPU组成,拥有288GB HBM4内存,FP4峰值推理能力可达50PFLOPS,相比GB300,整体性能可达3.3倍。

此外,英伟达还发布了用于加速AI模型推理的分布式推理服务库NVIDIA Dyamo,据称,在GB200 NVL72架构上运行Dyamo推理,能使DeepSeek-R1模型的吞吐量提升30倍。

相关内容

热门资讯

可以一次性拔掉4颗智齿吗?医生... 医生,长痛不如短痛,我可以一次性拔除四颗智齿吗?"对于很多长了智齿的朋友来说,可能会时不时地冒出这个...
图说丨夏秋花粉过敏几多愁?恰似... 编辑:封雪 责编:李奇 ...
所有人都在讨论的“DeepSe... 当地时间1月27日,纳斯达克股指出现3%下跌,原因是中国人工智能公司DeepSeek模型引发美国投资...
比特币“疯涨”!特朗普再添一把... 一路“疯涨”过后,5月21日,比特币重回70000美元,当日最高价格达到71650美元。在这样的背景...
im Token钱包:Coin... 这是一款广受欢迎的数字钱包,在全球超 200 个国家和地区收获了超两千万用户的信赖。它致力于为用户打...
2025年9月7日比特币(BT... 截至2025年9月7日数据显示,比特币报价110400,近期走势呈现技术面转弱特征。从形态来看,比特...
2025年9月3日比特币(BT... 比特币现报111000附近。从当前盘面来看,多空力量较为胶着,趋势尚未完全明朗。技术指标显示,短期动...
江南新材IPO定价10.54元... 日前,江西江南新材料科技股份有限公司(以下简称为“江南新材”)披露了发行公告,确定主板上市发行价10...
用水稻造“人血”?!武汉禾元生... 近期,血液制品行业迎来重磅消息! 全球首创“稻米造血”2025年即将在光谷量产,有望把这一“救命药”...
24岁女舞蹈老师骑电动车直行,... 大风新闻消息,3月8日,24岁的她头戴亮蓝色头盔,骑电动车去舞蹈班代课。可她的学生再也见不到她了。网...