精密設備捆包打包運輸搬家搬遷氣墊車運輸?shù)膩喩獔蟮溃?span style="color: rgb(76, 74, 74); font-family: ">Nvidia半‍導‌體‍設‌備‍搬‌運‍不久前發(fā)布了下一代GPU架構，架構名字為“Hopper”（為了紀念計算機科學領域的先驅之一Grace Hopper）。根據(jù)Nvidia發(fā)布的具體GPU規(guī)格，我們認為Nvidia對于Hopper的主要定位是進一步加強對于人工智能方面的算力，而其算力升級依靠的不僅僅是硬件部分，還有不少算法和軟件協(xié)同設計部分，本文將為讀者做詳細分析。我們認為，在Nvidia更下一代的GPU中，我們有望看到芯粒技術成為新的亮點來突破其瓶頸。半‍導‌體‍設‌備‍搬‌運‍根據(jù)Nvidia公布的數(shù)據(jù)，基于Hopper架構的GPU（H100）使用TSMC的4nm工藝設計，將會是Ampere架構（使用TSMC 7nm工藝）之后的又一次重大升級，其16位浮點數(shù)峰值算力（FP16）將會由之前的312 TFLOPS增加到1000 TFLOPS，INT8峰值算力則由之前的624TOPS增加到2000TOPS。由此可見FP16（常用于人工智能訓練）和INT8（常用于人工智能推理）的峰值算力基本上都是翻了三倍，這個H100相對A100峰值算力提升的比例基本符合A100和再上一代GPU V100的提升數(shù)字。半‍導‌體‍設‌備‍搬‌運‍而根據(jù)Nvidia官方公布的具體任務性能提升，我們也可以看到大多數(shù)人工智能相關任務的性能提升基本在2-4倍之間（尤其是使用transformer類模型的性能提升較為突出，接近4倍），初看也和峰值算力提升三倍基本吻合。但是如果我們仔細分析Nvidia H100具體芯片指標，我們認為在人工智能任務中，半‍導‌體‍設‌備‍搬‌運‍H100的提升不僅僅是來自于一些硬件指標（例如核心數(shù)量，DRAM帶寬，片上存儲器）的提升，更是來自于Nvidia做了算法硬件協(xié)同設計。例如，Nvidia在Hopper架構中引入了為Transformer系列模型專門設計的八位浮點數(shù)（FP8）計算支持，并且還加入了專門的Transformer engine硬件模塊來確保transformer模型的運行效率。因此，我們看到在Nvidia公布的人工智能任務性能提升中，使用transformer的任務（如GPT-3）的性能提升要高于傳統(tǒng)的基于CNN（如Mask R-CNN）的性能提升。