精密設(shè)備捆包打包運(yùn)輸搬家搬遷氣墊車運(yùn)輸?shù)膩喩獔?bào)道：Nvidia半‍導(dǎo)‌體‍設(shè)‌備‍搬‌運(yùn)‍不久前發(fā)布了下一代GPU架構(gòu)，架構(gòu)名字為“Hopper”（為了紀(jì)念計(jì)算機(jī)科學(xué)領(lǐng)域的先驅(qū)之一Grace Hopper）。根據(jù)Nvidia發(fā)布的具體GPU規(guī)格，我們認(rèn)為Nvidia對(duì)于Hopper的主要定位是進(jìn)一步加強(qiáng)對(duì)于人工智能方面的算力，而其算力升級(jí)依靠的不僅僅是硬件部分，還有不少算法和軟件協(xié)同設(shè)計(jì)部分，本文將為讀者做詳細(xì)分析。我們認(rèn)為，在Nvidia更下一代的GPU中，我們有望看到芯粒技術(shù)成為新的亮點(diǎn)來(lái)突破其瓶頸。半‍導(dǎo)‌體‍設(shè)‌備‍搬‌運(yùn)‍根據(jù)Nvidia公布的數(shù)據(jù)，基于Hopper架構(gòu)的GPU（H100）使用TSMC的4nm工藝設(shè)計(jì)，將會(huì)是Ampere架構(gòu)（使用TSMC 7nm工藝）之后的又一次重大升級(jí)，其16位浮點(diǎn)數(shù)峰值算力（FP16）將會(huì)由之前的312 TFLOPS增加到1000 TFLOPS，INT8峰值算力則由之前的624TOPS增加到2000TOPS。由此可見(jiàn)FP16（常用于人工智能訓(xùn)練）和INT8（常用于人工智能推理）的峰值算力基本上都是翻了三倍，這個(gè)H100相對(duì)A100峰值算力提升的比例基本符合A100和再上一代GPU V100的提升數(shù)字。半‍導(dǎo)‌體‍設(shè)‌備‍搬‌運(yùn)‍而根據(jù)Nvidia官方公布的具體任務(wù)性能提升，我們也可以看到大多數(shù)人工智能相關(guān)任務(wù)的性能提升基本在2-4倍之間（尤其是使用transformer類模型的性能提升較為突出，接近4倍），初看也和峰值算力提升三倍基本吻合。但是如果我們仔細(xì)分析Nvidia H100具體芯片指標(biāo)，我們認(rèn)為在人工智能任務(wù)中，半‍導(dǎo)‌體‍設(shè)‌備‍搬‌運(yùn)‍H100的提升不僅僅是來(lái)自于一些硬件指標(biāo)（例如核心數(shù)量，DRAM帶寬，片上存儲(chǔ)器）的提升，更是來(lái)自于Nvidia做了算法硬件協(xié)同設(shè)計(jì)。例如，Nvidia在Hopper架構(gòu)中引入了為Transformer系列模型專門設(shè)計(jì)的八位浮點(diǎn)數(shù)（FP8）計(jì)算支持，并且還加入了專門的Transformer engine硬件模塊來(lái)確保transformer模型的運(yùn)行效率。因此，我們看到在Nvidia公布的人工智能任務(wù)性能提升中，使用transformer的任務(wù)（如GPT-3）的性能提升要高于傳統(tǒng)的基于CNN（如Mask R-CNN）的性能提升。