英伟达年终大礼,最强AI GPU曝光!全新B300让o1/o3推理性能上天算力爆表


英伟达年终大礼,最强AI GPU曝光!全新B300让o1/o3推理性能上天算力爆表

原标题:英伟达年终大礼,最强AI GPU曝光!全新B300让o1/o3推理性能上天算力爆表
文章来源:新智元
内容字数:7876字

英伟达圣诞大礼包:GB300/B300性能大幅提升,供应链重构

英伟达在圣诞节前夕发布了全新一代AI GPU——GB300和B300,算力和显存直接提升50%,模型推理训练性能史诗级提升,并打破了以往HBM升级导致利润率下降的魔咒。但这背后,也隐藏着供应链重构和技术挑战

1. 性能大幅提升

相比于前代产品B200,B300/GB300在算力和显存方面都有显著提升:

  1. 算力FLOPS性能提升50%,功耗增加200W。GB300和B300 HGX的TDP分别达到1.4KW和1.2KW。
  2. 内存HBM容量增加50%,从192GB提升至288GB,堆叠方案从8层升级为12层,带宽仍为8TB/s。

这些改进尤其利好大型语言模型的训练和推理,例如OpenAI的o3模型。通过H100和H200的对比,可以看出更大、更快的显存带来的性能提升,包括交互性能提升43%,每秒token生成量提升3倍,成本降低约3倍。

2. NVLink的绝对优势

英伟达的NVLink技术,特别是NVL72,成为其核心竞争力。NVL72允许72个GPU以超低延迟协同工作,共享显存,实现更高交互性、更长思维链,提升模型智能水平,并在经济效益上实现10倍以上提升。

3. 供应链重构:机遇与挑战

GB300的推出带来了供应链的重大调整。英伟达将核心组件(B300、Grace CPU、基板管理控制器)供应,其他组件则由终端客户自行采购。这使得更多厂商能够参与计算托盘制造,但也对原有供应商例如纬创和富士康工业互联网造成了影响。

VRM供应链也发生了变化,超大规模数据中心运营商和OEM将直接从供应商采购板载VRM。互联技术方面,GB300搭载了800G ConnectX-8网络接口卡,带宽提升100%。

4. 超算中心的影响

GB300为超算中心提供了更大的定制自,但同时也带来了更高的设计和验证成本。一些超算中心能够快速适应,而另一些则进展缓慢。亚马逊的案例体现了定制化受限带来的成本增加,而GB300则有望帮助他们优化成本。

5. 对英伟达利润的影响

虽然GB300的BOM成本增加了约2500美元,但由于不再提供配套内存和PCB成本节省,英伟达实现了成本平衡,GB300相对于GB200的增量毛利率达到73%,打破了HBM升级通常导致利润率下降的惯例。

总而言之,英伟达的GB300/B300不仅是简单的性能升级,更是对AI计算产业链的一次深刻重塑,为其带来了显著的性能提升和利润增长,但也带来了供应链的调整和技术挑战。


联系作者

文章来源:新智元
作者微信:
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能机器人等前沿领域发展,关注人机融合、人工智能和机器人对人类社会与文明进化的影响,领航中国新智能时代。

暂无评论

暂无评论...