英伟达:创造DeepSeek-R1推理性能世界纪录
创始人
2025-03-19 20:14:25
0

(文/汤普济 编辑/吕栋)

当地时间3月18日,黄仁勋于GTC AI大会上发表演讲,发布最新一代Blackwell Ultra GPU(GB300)。同日, 英伟达官方博客发布文章,宣布利用Blackwell架构GPU实现DeepSeek-R1模型推理性能的世界纪录。

英伟达此次利用单个配备八块Blackwell架构B200 GPU的英伟达DGX系统,在英伟达评价为“超大规模、最先进的“DeepSeek-R1模型上,实现每用户每秒可处理超过250个token的性能,或每秒最大吞吐量超过30000个token。

NVIDIA

英伟达于2025年1月30日在面向开发者的网站上发布NVIDIA NIM微服务版的DeepSeek,之后,英伟达不断通过优化推理生态,刷新DeepSeek-R1模型的吞吐量。英伟达声称,自1月以来,DeepSeek-R1 671B模型的吞吐量已被提高了约36倍,相当于每token的成本降低了约32倍。

同时,英伟达声称,纪录还将随着Blackwell Ultra GPU和 Blackwell GPU在推理性能上的突破刷新。

据悉,英伟达此次发布的GB300是全球首个288GB HBM3E GPU,FP4推理性能可达去年发布的GB200的1.5倍,峰值可达15PFLOPS。将在2025年下半年出货。

英伟达还预览了下一代AI超级芯片——Vera Rubin,由Rubin GPU和Vera CPU组成。Vera CPU拥有88个定制Arm核心、176个线程。Rubin由两块掩模尺寸的GPU组成,拥有288GB HBM4内存,FP4峰值推理能力可达50PFLOPS,相比GB300,整体性能可达3.3倍。

此外,英伟达还发布了用于加速AI模型推理的分布式推理服务库NVIDIA Dyamo,据称,在GB200 NVL72架构上运行Dyamo推理,能使DeepSeek-R1模型的吞吐量提升30倍。

相关内容

原创 ...
如果你是一名爱“折腾”的电竞佬,一定听过“超频”这个词! 其实就是...
2025-03-20 22:31:15
中高端医疗服务净利不足10...
近日,Distinct Healthcare Holdings L...
2025-03-20 17:28:33
AI云巨头CoreWeav...
钛媒体App 3月20日消息,相关报道援引知情人士透露,由英伟达支...
2025-03-20 12:50:00
创造良好货币金融环境
民营经济健康发展、高质量发展离不开金融活水的浇灌、滋养。2月17日...
2025-03-20 07:11:31
最新公布!李嘉诚旗下长江基...
3月19日,李嘉诚旗下长江基建集团发布2024年业绩。 根据公告,...
2025-03-20 06:51:52
重磅!上海迎来超级 IPO...
近日,上海松江跑出一个超级独角兽:云汉芯城,向创业板发起 IPO ...
2025-03-19 22:26:54

热门资讯

出伏立秋后反被热晕?网友辣评:... 三伏天这个大魔王终于要挥手告别了,是不是觉得身上的汗珠子都少蹦跶了几下?没错,末伏结束了!也就意味着...
巫溪小伙迎娶高颜值斐济新娘,婚... 近日,以"巫溪文峰小伙迎娶斐济高颜值新娘"为内容的视频受到网友关注。8月27日,发布视频的婚礼化妆师...
原创 马... 据报道,在2025年这个看似平常却又暗流涌动的年份,美国政坛与情报界掀起了层层波澜,而这一切,都与特...
二孩夫妻又生四胞胎,孩子父亲:... 8月23日,已有二孩的产妇李女士在深圳成功诞下四胞胎,从原本温馨的四口之家,瞬间扩容为热闹非凡的八口...
西方企业被“打”疼了:中国不会... 【文/观察者网 张菁娟】英国《金融时报》26日报道,中国对关键半导体材料的出口管制正在冲击供应链,并...
俄军开始轮番轰炸!大规模袭击乌... 据CCTV国际时讯微博,乌克兰总理什梅加尔称,8月26日,乌克兰15个地区遭俄军大规模袭击。什梅加尔...
多地教育局下发通知,推迟中小学... 连日高温天气影响着我国大部分地区的正常学习生活,甚至有部分地区达到41℃以上的气温。在这种高温天气下...
谈判大门关闭,俄1天打掉13亿... 在乌军"突袭"俄罗斯本土库尔斯克地区后,俄乌和谈的大门也随之关闭了。此前,俄罗斯外长拉夫罗夫就曾直言...
河北保定市委书记党晓龙:全面融... 久久为功、善作善成。过去十年,京津冀协同发展夯基垒台、落子布局,从谋篇布局的“大写意”,到精耕细作的...
两男子入室推翻奶奶,被抢走男孩... 2006年4月25日,仅有一岁半的张翔跟着奶奶在湖南郴州市安仁县牌楼乡联扩村家中玩耍。一个男子骑着摩...