NVIDIA發佈新的機器人通用基礎模型 Project GR00T、Isaac 機器人平台也升級

2024-3-20 18 3/20
NVIDIA發佈新的機器人通用基礎模型 Project GR00T、Isaac 機器人平台也升級

NVIDIA 宣布推出人型機器人通用基礎模型 Project GR00T,目標進一步推動機器人技術和體現人工智慧(Embodied AI)領域的最新突破。

作為該計畫的一部分,NVIDIA 亦發表了一款基於 NVIDIA Thor 系統單晶片(SoC)用於人型機器人的新型電腦 Jetson Thor,以及 NVIDIA Isaac 機器人平台的最新升級,包含用於模擬的生成式 AI 基礎模型和工具及 AI 工作流程基礎架構。

GR00T 模型讓機器人能理解自然語言

GR00T 為 Generalist Robot 00 Technology(通用型機器人技術)的縮寫。由 GR00T 驅動的機器人將能夠理解自然語言,並透過觀察人類行為來模仿動作,如快速學習協調性、靈活性和其它技能,以便在現實生活中引導、適應與互動。在 GTC 主題演講中,黃仁勳也演示了幾個這類型的機器人如何完成各種任務。

生成式AI的加入將使人形機器人根據語言、影片、「真人示範」和過去的經驗相結合的輸入採取行動。這個生成式AI模型將新增到NVIDIA現有的機器人硬體和軟體平台上。

NVIDIAOmniverse和模擬技術副總裁Rev Lebaredian在新聞發佈會上說:「這些更智慧、更快、更好的機器人將被部署在全球的重工業中。我們正在與全球整個機器人和模擬生態系統合作,以加速開發和採用。」

專為人型機器人打造

Jetson Thor 是一個全新的運算平台,具備執行複雜任務的能力,並可以安全、自然地與人和機器進行互動。Jetson Thor 採用模組化架構,也針對效能、能耗及尺寸方面進行最佳化。

NVIDIA發佈新的機器人通用基礎模型 Project GR00T、Isaac 機器人平台也升級

SoC 則包含基於 NVIDIA Blackwell 架構的下一代圖形處理器,其 Transformer 引擎提供擁有 800 兆次浮點運算的 8 位元浮點等級 AI 效能,可運行 GR00T 等多模態生成式 AI 模型。它還匯集了功能安全處理器、高效能 CPU 叢集和 100GB 的乙太網路頻寬,大幅簡化設計與整合工作。

NVIDIA 正在為 1X Technologies、Agility Robotic、Apptronik、波士頓動力、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics 和 XPENG Robotics 等領先的人型機器人公司打造一個全面的 AI 平台。

Agility Robotics 共同創辦人暨機器人技術長 Jonathan Hurst 表示:「我們正處於歷史的轉捩點,像是 Digit 以人為中心的機器人將永遠改變勞動型態。現在 AI 將加速發展,讓 Digit 這類型的機器人在日常生活各方面幫助人們。我們很開心能與 NVIDIA 合作,投入運算、模擬工具、機器學習環境與其它必要的基礎設施,以實現機器人成為日常生活一部分的理想。」

Sanctuary AI 共同創辦人暨執行長 Geordie Rose 表示:「體現 AI 不僅有助於解決人類面臨的一些重大挑戰,更能創造出目前我們無法觸及或想像的創新。如此重要的技術不應各自獨立發展,這也是我們優先考慮與 NVIDIA 這樣的長期夥伴進行合作的原因。」

Isaac 平台的重大升級

體現AI模型需要大量的真實數據與合成資料。全新的 Isaac Lab 是一款基於 Isaac Sim 構建的 GPU 加速、輕量級、效能最佳化的應用程式,專門為為機器人學習而運行數千次平行模擬。

為了在異構運算中擴展機器人開發的工作負載,OSMO 在分散式環境裡協調資料生成、模型訓練和軟硬體迴圈工作流程。

NVIDIA 亦發表 Isaac Manipulator 及 Isaac Perceptor,整合機器人預訓練、資料庫和參考硬體。

Isaac Manipulator 可為機器手臂提供最先進的靈活性與模組化的 AI 功能,以及一系列強大的基礎模型與 GPU 加速庫。Isaac Manipulator 的路徑規劃速度提高了 80 倍,也同步提升零樣本感知的效率與吞吐量,讓開發人員得以自動執行更多的機器人任務。率先採用 Isaac Manipulator 的生態系合作夥伴包含 Yaskawa、Teradyne 旗下的通用機器人公司 Universal Robots、PickNik Robotics、Solomon、READY Robotics 及 Franka Robotics。

Isaac Perceptor 提供多鏡頭、3D 環視功能,越來越多應用於製造與物流營運的自主移動機器人皆採用這兩項技術,以提高效率與工作人員安全,同時降低錯誤率與成本。首批採用的公司包括 ArcBest、BYD 和 KION Group,旨在實現材料處理操作等方面更高的自主性。

 

  • 延伸閱讀:NVIDIA 打造Isaac AMR平台以協助市值9兆美元的物流業
  • 延伸閱讀:以Omniverse為基礎的NVIDIA Isaac Sim現已進入公開測試階段