您當前的位置：檢測資訊 > 科研開發
嘉峪檢測網 2024-05-10 11:15
近日，知名分析師郭明淇披露英偉達下一代AI芯片R系列/R100 AI芯片的相關信息。據他所說，該芯片將于2025年4季度進入量產，系統/機架解決方案可能會在2026年1H20開始量產。
在工藝方面，R100將采臺積電的N3制程 (vs. B100采用臺積電的N4P) 與CoWoS-L封裝 (與B100相同)。與此同時，R100采用約4x reticle設計 (vs. B100的3.3x reticle設計)。
來到Interposer尺寸方面，按照郭明淇的說法，英偉達尚未定案，但會有2–3種選擇。
至于備受關注的HBM方面，R100預計將搭配8顆HBM4。
同時，英偉達GR200的Grace CPU將采臺積電的N3制程 (vs. GH200/GB200的CPU采用臺積電N5)。
按照郭明淇所說，Nvidia已理解到AI服務器的耗能已成為CSP/Hyperscale采購與資料中心建置挑戰，故R系列的芯片與系統方案，除提升AI算力外，耗能改善亦為設計重點。
英偉達芯片路線圖，深度解讀
2023年10月，英偉達更新了其最新數據中心路線圖，其激進的更新幅度更新了所有人。首先，我們先回顧一下英偉達過去幾年的路線圖。以下是2021年 4 月舉行的 GTC 2021 上發布的內容：
這是“Hopper”之后的更新版，在上面的路線圖中被稱為“Ampere Next”，在 2022 年 Computex 上發布：
以下是我們認為今年早些時候發布的路線圖的更新，其中添加了用于人工智能推理、可視化和元宇宙處理卡的“Lovelace”GPU 系列：
最后，這是英偉達近來發布的路線圖，由semianalysis首先披露。
如果過去的趨勢是未來趨勢的指標——當芯片制造商向其超大規模和云構建商客戶承諾兩年推出一次的節奏時，它們肯定應該是未來趨勢的指標，就像英偉達幾年前所做的那樣——那么我們絕對期待新架構的 Blackwell GB100 GPU 加速器將于明年 3 月至 5 月左右推出。但正如您在下面所看到的，Nvidia 主要 GPU 發布的節奏通常不到兩年。所以這是一種回歸形式。
以下是數據中心 GPU 在過去 21 年中的推出方式，數據中心 GPU 計算至關重要：
“Kepler”K10 和 K20，2012 年 5 月
“Kepler”K40，2013 年 5 月
“Kepler”K80，單卡上有兩個 GK210B GPU
“Maxwell”M40，2015 年 11 月，主要用于 AI 推理，并非真正用于 HPC 或 AI 訓練
“Pascal”GP100，2016 年 4 月
“Volta”GV100，2017 年 5 月（原始 Pascal 的某些功能直到 Volta 才出現）
“Ampere”GA100，2020 年 5 月
“Hopper”GH100，2022 年 3 月
“Hopper-Next”H200，2024年春季？
“Blackwell”GB100，2024年夏季還是秋季？
“Xavier”GX100，2025年春夏
我們很清楚，Hopper-Next 應該是 Blackwell GB100 GPU，而現在路線圖上的 GH200 是一種權宜之計，試圖轉移人們對 AMD看起來將于 12 月推出的CPU-GPU 混合設備“Antares” Instinct MI300X GPU 和 MI300A 混合顯卡的注意力。AMD 將在這些設備上擁有 HBM 內存容量和帶寬優勢，以及用于 CPU 和 GPU 的聚合內存，而 Nvidia 不能告訴所有人 H100NVL雙倍卡就是答案。
因此，有兩種方法可以使用即將推出的 Hopper-Next H200 GPU。我們贊成但僅基于預感的一個是 Nvidia 測試將兩個 Hopper GH100 GPU 放入一個插槽中 ，因為它已經使用其 Arm 服務器 CPU 與其 Grace-Grace 超級芯片配合使用。我們在一年半前建議它這樣做。該芯片的性能可以稍微降低，以獲得更合適的功率范圍，并留出空間來容納更高的 HBM3e 內存堆棧，從而提高目前數據中心非常缺乏的內存與計算比率。
GPU 插槽中的芯片數量并不像每個插槽中的帶寬那么重要。每個插槽需要兩個 GPU，但內存帶寬需要四倍、六倍或八倍才能真正領先并提高 GPU 的性能。我們半開玩笑地說：擁有一半 Hopper GPU 可能更有意義——稱之為 Hop？– 如果您確實想提高 AI 工作負載的性能，則需要 2 倍的內存容量和 2 倍的內存帶寬。
有些人認為H200只是內存升級，在相同的GH100 GPU上提供2倍的內存容量和2倍的內存帶寬。我們認為會對它進行一些調整，并且可能會進行更深層次的垃圾分類，以至少提高性能。
這個路線圖中還有另一件令人煩惱的事情：根據 Nvidia 的最新路線圖，未來的 Blackwell GB100 GPU 和 B100 加速器到底什么時候出現？你看到上面有日期嗎？我們推測是在 2024 年末，但 Blackwell 仍有一定的余地可以推遲到 2025 年初。（我們認為 Blackwell 芯片很可能以伊麗莎白·布萊克威爾 (Elizabeth Blackwell) 命名，她是第一位獲得醫學學位的女性在美國（在紐約州北部的日內瓦醫學院，現在是雪城大學的一部分），也是第一位在英國總醫學委員會醫學登記冊上登記的女性。）
無論如何，Blackwell GB100 GPU 都非常接近 GX100 GPU（我們將其代號為“Xavier”），預計將于 2025 年推出，我們認為是在今年晚些時候，但也可能不是。（除了漫威超級英雄宇宙中虛構的Charles Xavier 之外，我們找不到姓氏以 X 結尾的重要著名科學家，是的，我們知道 Nvidia 已經在其嵌入式系統之一中使用了該代號.“X”可能只是意味著它是一個變量，而 Nvidia 尚未決定有一個代號。）
我們認為 Nvidia 需要更多時間來調整 Blackwell 的 GPU 架構，并且考慮到 AI 模型變化的速度，如果事情很重要，例如 Volta 的 Tensor Cores 或稀疏性，Nvidia 應該這樣做是合理且正確的支持是針對 Ampere，或者 Transformation Engine 和 FP8 是針對 Hopper。
解決這個問題后，我們對當前的 Nvidia 路線圖有一些需要挑選的地方。例如，BlueField DPU 發生了什么？
DPU 是 Nvidia 硬件堆棧不可或缺的一部分，提供網絡、安全和虛擬化卸載，并將超級計算機轉變為多租戶云。Hopper GPU 是在 2022 年 3 月的春季 GTC 會議上宣布的，而不是在 2023 年，并且也在 2022 年末發貨。H100 NVL 和 Lovelace L40 失蹤了。“Ampere”A100 于 2020 年問世，而不是 2021 年。Quantum 2 400 Gb/秒 InfiniBand 和 400 Gb/秒 Spectrum-3 以太網于 2021 年發布，并于 2022 年（而不是 2023 年）開始發貨。速度為 800 Gb/秒以太網和 InfiniBand 的運行速度比我們在 2020 年 11 月與 Nvidia 交談時的預期晚了大約一年。順便說一句，上一代 200 Gb/秒 Quantum InfiniBand 于 2016 年發布，并于 2017 年發貨。那里存在很大的差距，因為所有試圖推銷從 200 Gb/秒到 400 Gb/秒的跳躍的公司都存在這個差距。
鑒于這一切，我們更新了 Nvidia 官方路線圖：
顯然，生成式人工智能的爆炸式增長消除了數據中心和超級計算高層對計算和互連的猶豫。因此，每年一次的節奏是有意義的。但如果不出現一些滑點，可能很難維持。事實上，這個路線圖可以被視為彌補 Blackwell 架構交付延遲的一種方式，而 Xavier GX100 將于 2025 年推出（也許非常接近 Blackwell）這一事實告訴您，事情已經發生了。也許 Nvidia 會從 Blackwell 開始，轉向秋季發布和交付其數據中心 GPU？無論 H200 GPU 加速器是什么，值得注意的是沒有 B200 或 X200 緊隨其后。這款 H200 是一匹只會耍花招的小馬。好吧，除非英偉達陷入另一個困境。。。。
這里有一些需要考慮的事情：當產品的需求是您可以交付的產品的 3 倍、4 倍、甚至 5 倍時，路線圖的節奏并不重要，而供應量更重要。如果云和一些人工智能初創公司獲得了所有 Hopper GPU，而其他人都無法獲得，那又怎樣呢？這意味著任何擁有矩陣數學引擎和人工智能框架的人都有機會出售他們得到的任何東西。
因此，我們看到這種情況正在發生，即使是像英特爾備受推崇的 Gaudi 加速器系列這樣的死胡同產品。是的，Gaudi 2 可以與 Nvidia A100 甚至 H100 抗衡，是的，Gaudi 3 即將推出，其性能將提高 2 倍，但那又怎樣呢？沒有 Gaudi 4，但有一個名為“Falcon Shores”的 GPU，具有 Gaudi 矩陣數學單元和 Gaudi 以太網互連。在正常情況下，沒有人會購買 Gaudi 2。但在生成式 AI 淘金熱中，你可以獲得的任何矩陣數學單元都必須這樣做。
細研究了這個路線圖后，這也許是最重要的事情。Nvidia 擁有大量現金來壟斷 HBM 內存和 CoWoS 基板市場，并遠遠領先于也需要這些組件來構建加速器的競爭對手。它可以使用即將推出的組件，例如臺積電非常有趣的 CoWoS-L 封裝技術，該技術允許對小芯片進行相對正常的基板封裝，但在小芯片之間設置小型中介層，需要大量電線來驅動高電壓。這些小芯片各部分之間的帶寬。（CoWoS-L 有點像英特爾的 EMIB。）如果愿意的話，它有足夠的現金來制造兩芯片 H200 和四芯片 B100。Nvidia 已經證明了四 GPU 設計的可行性，但公平地說，MI300X 表明 AMD 可以通過在巨大的 L3 緩存之上堆疊八個小芯片來做到這一點。
Nvidia 最好不要亂搞，因為在硬件方面，AMD 絕對不會。那些熱愛開源框架和模型的人正在密切關注 PyTorch 2.0 框架和 LLaMA 2 大型語言模型，由于Meta開明的利己主義，它們沒有任何障礙。PyTorch 顯然在 AMD 處理器上運行得很好，我們認為在 MI300A 和 MI300X 上會做得更好。
因此，從 2024 年開始，Nvidia 芯片的步伐確實加快了每年升級的節奏。
請記住，你可以建造一條護城河，但當井干涸時你就不能喝它，因為水很臭，可能來自敵人的尸體
最后，我們來回顧一下semianalysis當時是怎么說的。
B100，上市時間高于一切
我們相信 Nvidia 的 B100 將在 2024 年第三季度大批量發貨，并在 2024 年第二季度提供一些早期樣品。從我們聽到的性能和總體擁有成本來看，它擊敗了 Amazon Trainium2、Google TPUv5、AMD MI300X、Intel Gaudi 3 和 Microsoft Athena ，即使考慮到從設計合作伙伴/AMD/臺積電購買這些芯片所支付的利潤要低得多。
我們的理解是，與最初的“計劃”相比，Nvidia 做出了多項妥協，以便將 B100 更快推向市場。例如，Nvidia 希望將功耗設定為更高水平 1,000W，但他們最初會堅持使用 H100 的 700W。這使得 Nvidia 在 B100 變體上市時能夠堅持使用空氣冷卻。
Nvidia 最初也堅持在 B100 上使用 PCIe 5.0。5.0 和 700W 的組合意味著它可以直接插入 H100 的現有 HGX 服務器中，從而大大提高供應鏈更早提高產量和出貨量的能力。決定堅持使用 5.0 的部分原因是 AMD 和英特爾在 PCIe 6.0 集成方面遠遠落后。Nvidia 自己的內部團隊也沒有準備好使用 PCIe 6.0 CPU，此外他們會使用更快的 C2C 樣式鏈接。
ConnectX-8 稍后配備了集成 PCIe 6.0 交換機，但還沒有人為此做好準備。我們的理解是，Broadcom 和 Astera Labs 只會在今年年底為 PCIe 6.0 重定時器做好批量出貨的準備，并且考慮到這些基板的尺寸，仍然需要許多重定時器。這意味著最初的 B100 將限制為 3.2T，而 ConnectX-7 則限制為 400G，而不是 Nvidia 幻燈片聲稱的每 GPU 800G。保持空氣冷卻、電源、PCIe 和網絡速度相同，使其非常易于制造/部署。
稍后Nvidia將推出1000W版本，需要水冷。這個變體出現得稍晚一些，并且將通過 ConnectX-8 實現每 GPU 網絡的完整 800G。這些 SerDes 對于以太網/InfiniBand 仍然是 8x100G。雖然每個 GPU 的網絡速度翻倍，但基數減半，因為它們仍然必須經過相同的 51.2T 交換機。B100 一代將不存在 102.4T 交換機。
有趣的是，我們聽說 Nvidia 正在轉向 B100 上的 224G SerDes NVLink 組件，如果他們能讓它發揮作用，那就太棒了。與我們交談過的大多數人都認為 224G 不可靠，并且不可能在 2024 年實現，除了 Nvidia 的人。我們不知道，但他們很可能在 2024 年堅持使用 112G，但我們目前傾向于 Nvidia 采取激進的態度。請注意，Google、Meta 和 Amazon 擁有 224G 的 AI 加速器，目標是 2026/2027 年以上量產，而不是像 Nvidia 那樣 2024/2025 年。Nvidia 將擊敗他們的競爭對手。
我們聽說這款 GPU 仍然是臺積電的 N4P，而不是基于 3nm 的工藝技術。考慮到臺積電的 3nm 對于如此大的芯片尺寸來說還不成熟，這是有道理的。根據其基板供應商 Ibiden 傳聞的基板尺寸，Nvidia 似乎已轉向具有 8 或 12 個 HBM 堆棧的 2 個單片大型芯片 MCM。這與 SambaNova 和英特爾明年的芯片類似的宏觀設計。
Nvidia 沒有像 AMD 那樣使用任何瘋狂的hybrid bonding，因為他們需要出貨非常大的容量，而成本是他們的一個大問題。我們相信這兩種 B100 變體將具有與 MI300X 相似或更多的內存容量以及更多的內存帶寬。風冷 B100 可以有 6.4Gbps 堆棧，但水冷版本可以高達 9.2Gbps。
Nvidia還展示了GB200和B40。G 代表 GB200 和 GX200，因此它顯然是一個占位符，因為 Nvidia 將推出新的基于 Arm 的 CPU。他們不會繼續使用 Grace 這么久。我們認為 B40 是 B100 的一半，只有 1 個單片 N4P 芯片和多達 4 或 6 個 HBM 堆棧。與 L40S 不同，這對于較小模型的推斷是有意義的。
X100，致命一擊
最值得注意的是 Nvidia 的“X100”時間表。該時間表將與 AMD 目前的 MI400 時間表相匹配。AMD MI300X 的策略是在 H100 推出一年后推出。AMD 希望通過在技術上積極進取，MI300X 在一個令人印象深刻的封裝中填充更多的計算和內存，與一年前的 H100 相比，可以在純硬件上超越 Nvidia。
Nvidia 發現，他們的 2 年數據中心 GPU 產品節奏可以為競爭對手打開一扇窗口，試圖利用更新的芯片在市場上站穩腳跟。現在，英偉達正在通過將產品節奏加快到每年一次來關閉這一窗口。“X100”預計于 2025 年推出，僅比 B100 晚一年。
鑒于這款 GPU 距離流片還很遠，與 B100 不同的是，B100 已經已經Tape out了，事情仍然懸而未決。英偉達從未討論過下一代之后的問題，所以這是史無前例的。
這個名字也顯然不是“X100”。Nvidia 一直以 Ada Lovelace、Grace Hopper 和 Elizabeth Blackwell 等杰出女科學家的名字來命名他們的 GPU 代號。對于X來說，唯一符合邏輯的人就是研究半導體和金屬能帶結構的中國女性科學家謝希德。不過，，我們對此表示高度懷疑，盡管這可能是英偉達計劃在下周傳聞出口限制后再次向中國出售 GPU 的方式。
拋開笑話不談，這個“規格”不值得猜測，因為網表甚至還沒有完成。唯一有交集的是臺積電的N3X的使用。
來源：Internet
