NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

2023-12-5 77 12/5
NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

ADVERTISEMENT

NVIDIA在Amazon AWS re:Invent大會宣佈GH200 NVL32 GPU與Project Ceiba超級電腦,並與Amazon共同推出多款執行個體與雲端服務。

這顆GPU跟機櫃一樣大

NVIDIA將這次發表的GH200 NVL32針對生成式AI等應用設計,並定位為機櫃尺寸的GPU。它在單一機櫃內整合32組GH200 Grace Hopper Super Chip,並透過NVLink和NVSwitch技術互連,組成具有4.5TB HBM3e高頻寬記憶體,以及20TB記憶體總量的大型運算節點,並採用水冷散熱方案。

  • 延伸閱讀:NVIDIA發表搭載HBM3e記憶體的H200 GPU,同時帶來4連裝水冷版Quad GH200

AWS(Amazon Web Services)將成為首間將全新多節點GH200導入雲端的雲端服務供應商,可將32組GH200組成單一Amazon Elastic Compute Cloud(Amazon EC2)執行個體,並推出採用GH200 NVL32的DGX Cloud人工智慧訓練即服務(Training as a Service,TaaS),讓開發者可以在單一執行個體中使用容易極大的共享記憶體,加速訓練生成式人工智慧和超過1兆組參數的大型語言模型(LLM)。

對於需要更高的使用者,還可進一步由AWS Nitro System高階虛擬化和Amazon EC2 UltraClusters超大規模叢集等技術將運算能量進而擴展至上千組GH200,滿足不同量級的使用需求。

NVIDIA與Amazon也合作推動Project Ceiba超級電腦計畫,它將配備16,384組GH200,並由Amazon EFA技術互連,提供高達65EFLOPS的AI運算效能,將成為全球最快、基於GPU的AI超級電腦。

在其它服務部分,Amazon也將推出基於H200的P5e執行個體,適用於大規模和尖端的生成式AI和HPC(高效能運算)等工作負載,以及基於L40S的G6e執行個體與基於L4的G6執行個體,適用於AI模型微調、推論以及多媒體創作等應用。其中G6e執行個體特別適合搭配NVIDIA Omniverse進行3D開發、數位孿生等應用。

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

多款軟體與群端服務

NVIDIA也發表了多款軟體與服務,其中NeMo Retriever能用於建置、客製化和部署生成式AI模型,能夠藉由NVIDIA最佳化的演算法讓生成式AI應用程式提供更準確的回應,協助開發人員可以建立客製化的生成式AI聊天機器人、Copilot助理和摘要工具,讓這些AI應用程式存取企業資料庫,並準確透過生成式AI的智慧提高生產力。

AWS也即將提供Isaac Sim機器人開發平台和L40S GPU,將強大的AI運算與多媒體加速相結合,可在Omniverse帶來高於前代產品3.8倍的效能提升,加速工程和機器人團隊的工作流程。

此外用於藥物研發生成式AI平台BioNeMo也將登陸AWS,讓醫療研發人員能在雲端靈活整合多種NVIDIA加速運算單元,加速雲端伺服器擴大模型訓練和部署規模。

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作,以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA創辦人暨執行長黃仁勳表示,生成式AI正在改變雲端工作負載,並將加速運算作為多樣化內容生成的基礎。在向每位客戶提供經濟高效、最先進生成式AI慧的共同使命驅動下,NVIDIA和AWS將在AI基礎設施、加速函數庫、基礎模型和生成式AI等完整運算堆疊持續。