AMD vs NVIDIA-详细对比

Source: SEVEN调研纪要

1、单颗芯片对比：

AMD MI300出来前，产品MI200和MI250和英伟达的A100和H100还是有差距。但差距在MI300出来有改变，单颗GPU相对H100提升25-30%,2-4颗协同提升50%，4-8颗小集群有2X提升。

2、市场：

英伟达很早布局。市场占有率方面，AMD和英伟达有很大差距，MI300出来前，硬件有差距。

软件生态差距更大，很多上层模型都是基于cuda的，development tool+library+compile+program model 会有很大依赖性，不改变library突然切到amd有风险。

这两年有变化，amd 的soft stake 很好兼容加速算子、加速库，不需要对模型本身进行调整，硬件性能也在提升。

未来来讲，HPC主要是训练，但是现在生成式AI，对推理需求越来越高，未来几年走势都是这个方向。

3、MI300推出时间 产能和价格？

时间：目前还是和大客户做大集群部署过程，小集群已经有很完整数据。未来几个月针对大语音模型的完整数据也会出来。

面向市场和客户会在Q4。

产能：4Q预计10w片tape out。

定价：和之前一致，走性价比，价格不会比H100贵。

4、能否供应中国市场？

不能。MI300远远高于禁止标准，IO接口和计算性能。

国内会有改进版本MI388，针对IO做reduction。

5、AMD GPU国内合作伙伴？

非常多联系，很多客户对MI388感兴趣，尽量4季度出来。阿里 百度 腾讯 字节都非常感兴趣。

6、PYtorch 支持更多的GPU，怎么看待对CUDA挑战？

会有一定影响，但是CUDA有自己护城河。和硬件层面非常贴合，cuda 还有compile tool，soft stake是很多层级的生态，cuda有先天优势的。这个东西完全移植过去，有稳定性 和 性能问题。

但amd能兼容每一级，对cuda来讲，护城河已经不是那么绝对了。客户的上层模型参数可以不做任何调整直接从英伟达的卡迁移到AMD上。ROCm能兼容每一个层级soft stake，同时也能保持稳定性上的同时，提升性能很多客户不想被nvdia深度绑定，所以会选择AMD。

intel 如果也有soft stake，会有进一步影响。cuda现在不像之前那样坚不可摧。

7、MI300架构问题，3D chiplet 2.5t/s 传输速度？

CPU+GPU合封在一起不叫MI300，叫instinct 300，是个system。

instinct 300 把3个zen4 的core，每个core8个核，总共24个core，还有6颗MI300 die封在一起。

AMD有优势，以前一直在做APU（PC的），CPU和GPU一直封在一起，互相share cache 和 dram，所以AMD芯片通信技术是行业最好的。AMD  gpu 都可以和CPU封在一起，pc上卖的主要产品，MI300也是基于pc上面的方案，共享dram，所以CPU GPU传输速度非常快。

8、Grace hopper nv link，MI300怎么做集群？

AMD 有自己片间互联的技术，infinity fabric，速度也能到900GB/s，和H100速度一样。H100 pcie 可以到600gb，如果nv link 是900gb。

9、显存容量不一样？

Instinct 300 总共封了8个HBM，显存量要大不少，24gb一个，192gb 容量，速度可以达到5.2tb/s。

H100显存80gb（5*16gb）。所以MI300 参数要比H100好不少。

10、做生态兼容，劣势主要是哪些？

ROCm兼容CUDA，工具+编译模型等能做到100%的兼容，这也是amd能说服客户迁移的原因。

但是如果一直只是做兼容，CUDA会持续迭代，ROCm需要一直follow 英伟达，如果达不到很吃亏。

长期看，一直跟着别人走做兼容，对企业而言肯定不少好的事情。

其他厂商，尤其是国内兼容cuda水分更大。AMD花了6-7年做兼容这件事。

AMD不会一直只是做兼容，也在和关系密切客户（微软？）开发soft stake，重新合作开发软件，rocm数据和库，基于AMD mi 硬件做加速，这个是AMD长期要做的事情。

目前是为了争取客户和抢占市场，硬件做很好了，希望你能用起来，也不想要客户做上层参数调整，直接签过了就用，便宜之技，长期ROCm一直会自己开发。

11、兼容和自行开发是怎么做的？

技术角度来讲，不管兼容还是自己开发，rocm soft stake这些，都是要自己做。中间很多加速的库，这些库兼容nvdia的时候，也有共用的library可以自己拿出来共用，可能就是基于cuda的加速架构是什么的program方式，我们需要支持你的时候，核心里面很多东西可以基于我们的MI硬件的。核心库的加速是可以通用，只要interface 和api 兼容就可以。

关系紧密的大厂，微软 meta 都可以做重构，和客户一起合作开发，我们和软件工程师和他们工程师一起，建立自己失态。和之前游戏一样，说服游戏大厂基于自己的显卡开发，要派出自己的软件工程师帮助开发软件工具。

12、大型客户需求主要是大模型，我们自己建立生态系统的过程中，主要是哪些项目？

以前运行比较好的大模型，AMD争取客户方式主要是做兼容方式，底层硬件性能非常好了。

对于在on-going的application，会建立自己生态，amd会派出自己的软件工程师帮忙。

很多客户愿意帮助AMD建立生态，核心也不是让一家厂商卡脖子。

13、大厂也在做芯片，怎么看这个？

国内外大厂都在做。但是这些厂商更多是做替换式的，比如上面的bu希望达到什么样的model，芯片更多是为了自己特定应用场景的加速。但如果做不到通用，只能做很小场景，而且这样和amd和nvdia还有很大差距。所以amd和nvdia并不担心这个事情。

整个大的AI 市场还是非常大，非常乐观的。

14、推理需求越来越大，会对产品有什么影响？

未来应用场景和应用端，训练很多了，之后推理需求越来越大。后面产品对应推理算力迭代会做更多优化。推理每年30-40%增长，我们会对这方面做优化。

15、英伟达明年 B100？目前竞争态势？

MI300是针对H100的产品，GH200可能是针对MI300。

英伟达下一代产品出来，也不用太担心。AMD还有很多产品，下一代MI产品已经进入非常尾声阶段，很快会给回应。

赛灵思在AI领域有自己的生态，和AIE。AIE有软件生态，我们会把这个aie和我们整合，我们还是非常乐观的。

16、MI300产能？

cowos产能，因为MI300四季度出来，前三季度非常少，4Q会有5000-6000片。

MI300 硬件架构比H100强是有更多的计算单元，die大25%。

1个wafer切20片，就10w片。明年全年50w颗出货量。

英伟达130-140w。

17、良率？

chiplet做后，良率提高很多。

18、光和电？

现在更多是光模块，我们基本都是光模块。

19、MI300 性能很好，GH200推出来应对，300系列兼容性提升很多，但是和英伟达自己比还是有差距，想知道1美金资本开支，买MI300还是GH200?

PERF/美金概念。MI300和H100对比，我们在各种计算上，单颗卡可以达到25-30%性能提升（成本和power一致）。2-4颗是50%，8颗2倍提升。

Instinct 300 和GH 200都是系统，可以对比。

20、推理需求占比会更高，大厂方案收敛后，自己推理需求起来，会提高自供比例，怎么看这个问题？

未来几年训练会转到推理，未来推理CAGA 30%增长。我们会在卡上做优化，尤其是推理上做solution，因为对算子矩阵运算需求是不一样。大厂芯片迭代速度也没我们快。

21、产能规划60万颗备货有多少意向订单？

4Q美国超算中心有很大量，instinct300 solution，占比40%。微软和meta也有很大比重。基本上有很大确定性。

国内MI388这边我们也比较乐观。

量我们是基于客户的意向订单+AI行业反正趋势做的评估。