試著理解 Omniverse – NVIDIA 的元宇宙未來 | 科技巨頭解碼#107

過去這幾年，無疑的是 NVIDIA 的黃金年代，這家傳統上被當成顯示卡晶片廠商的公司，因為其產品延伸到人工智慧與機器學習的領域，開始大放異彩，也成為整個晶圓產業的龍頭，其市值超越了台積電，甚至比 Intel 與 AMD 兩家公司的加總更高。而在 NVIDIA 眾多非常吸睛的產品與技術中，有一個產品特別吸引了我的眼光，就是 Omniverse。

對於我說，Omniverse 到底是一個怎樣的產品，是個怎樣的平台，一直是個很困擾的問題。因為 Omniverse 從我最早看到的第一個版本，到現在最新的樣貌，其實已經擴充與改變了非常多。甚至即使到了現在，我自己也常常在重新檢視，Omniverse 到底包含了那些技術，可以做到那些事情。所以本期的科技巨頭解碼，更像是我自己的思考紀錄與學習筆記 – 當我試著去更加理解 Omniverse，以及 NVIDIA 在此產品背後的思考，這中間過程所留下來的紀錄。

我最早聽到 Omniverse 這個名詞，是在 2019 年，當時 NVIDIA 在 GTC 大會上，正式發表了 Omniverse 這個產品的測試。而當時 Omniverse 這個產品的主要概念，是一個可以供 3D 設計師共同協作的一個平台 – 兩個身處異地的 3D 設計師，可以在一個虛擬的空間中，共同討論、設計與修改一個 3D 設計作品。我當時的想法是 - 這聽起來像是一個蠻實用的功能，對於全世界的 3D 設計師來說，這應該是個很方便的平台。不過，這個產品在整個 NVIDIA 的產品線規劃中，應該只是個不錯的輔助型應用吧？就像 NVIDIA 常常發表一些軟體的新技術，但本質上都是想要讓相關的工程師與設計師更綁定在 NVIDIA 的平台上，Omniverse 看起來也可以歸類於此吧？畢竟 3D 設計師協作的這個需求，市場規模可能是相當有限的。

不過，當我下一次再注意到 Omniverse 這個產品的時候，這個平台已經進化了不少。到了 2021 年的時候，當 NVIDIA 提到 Omniverse 這個產品，重點已經開始從 3D 設計的協作工具，轉移到了一個具備物理法則的虛擬世界模擬工具。我還記得當時 NVIDIA 舉了個例子，一個 F1 賽車隊，可以在 Omniverse 裡面把他們要比賽的賽道打造出來，並且把他們的賽車放進賽道中進行模擬，調整各樣的車輛參數，來看看在不同的條件下能跑出怎麼樣的成績。在這個階段，Omniverse 這個平台的能力，已經不只是 3D 作品的協作，而是擴增到一個 3D 世界的物理模擬運算。Omniverse 也從一個 3D 協作平台，升級成了一個特定虛擬場景應用的模擬引擎。

然而，NVIDIA 對於 Omniverse 的企圖心遠遠不止於此，而是積極地持續推動這個產品的進化。在最新的 NVIDIA GTC 大會上，CEO 黃仁勳發表他們最新的 Omniverse 平台概念 – 這已經不只是一個 3D 協作平台，也不只是個模擬引擎，未來的 Omniverse，將會是一個可以協助打造多個元宇宙世界，讓這些元宇宙運行，並且把這些元宇宙串聯協作的一整套平台生態系。Omniverse 既是元宇宙的創造工具，也是元宇宙的運行平台，還能提供元宇宙內的生產力來源，並且也能擔任元宇宙應用生態系的連結核心點。甚至，Omniverse 也能夠扮演元宇宙虛擬世界與實體世界之間的連結。

當然，我相信你看到上面這段文字，一定跟我一樣，覺得看起來好像懂了，又好像不太懂 (而我還是把這段文字寫出來的人，居然看不太懂自己在寫什麼？)。所以，看一些 NVIDIA 自己舉出來的應用範例，或許可以幫助我們更加容易來了解 Omniverse 到底是什麼東西。

一個標準的企業數位雙生 Digital Twins 運用範例，是 BMW 的自動化工廠。透過 Omniverse，BMW 可以在虛擬世界建立一個與真實的汽車組裝工廠完全相同的數位雙生工廠，並且可以在該工廠內，實驗各種新的工廠組態，來調校工廠的最佳化產能。在這樣的案例中，Omniverse 扮演了虛擬空間的創作工具角色，並且也能夠模擬整個虛擬空間，使這個虛擬空間可以作為數位雙生的存在，讓企業能夠對這個空間進行調整並且模擬出結果。

但這樣的數位雙生，可以有進一步的利用 – 以亞馬遜的機器人倉儲來看，在 Omniverse 中，甚至可以同步整個實體倉儲與數位雙生虛擬世界的狀態。在現實世界中，一個貨運機器人把貨架 A 的第二層的貨物拿走，而這樣的資訊即時同步到 Omniverse 內的數位雙生，這可以讓位於總部的相關人員，即時理解倉儲的狀態 – 假設突然地震讓一個貨架倒塌，在數位雙生的世界也會同步更新(透過大量的相機影像辨識與感應器)，讓管理人員可以直接「看到」現場。而在 Omniverse 之中，亞馬遜的管理人員，可以輕易看到數百個倉庫裡面上萬個機器人的工作狀態，甚至可以透過 Omniverse，來直接更新這些貨運機器人的演算法。在這樣的案例中，Omniverse 不只創造出一個虛擬世界數位雙生，不只可以模擬一些調整後的狀態，Omniverse 實際上成為一個與現實整合，持續運作的元宇宙。透過改變 Omniverse 裡面的機器人運作，亞馬遜現實世界倉儲內的機器人也會跟著調整。

而 Omniverse 甚至可以成為元宇宙生產力的來源 – 這裡可以使用百事可樂的範例。如同 BMW 與亞馬遜，百事可樂也為了他們的工廠生產與貨運，在 Omniverse 裡面建立了數位雙生，模擬並同步整個產線的運作。然而，當百事可樂想將其商品的包裝改變時，這可能會讓他們原本的影像辨識軟體無法正確在輸送帶上面辨識這些商品品項。在這樣的需求下，他們不需要在實體世界裡面用真實的商品來訓練人工智慧模型，而可以改在 Omniverse 裡面，用合成模擬物品影像，來訓練百事可樂的人工智慧模型，等到訓練好後，直接布署到真實世界的機器上。在這個案例裡，Omniverse 成為了一個訓練人工智慧的模擬環境，而每一個被訓練出來的人工智慧，都是在元宇宙內具備生產力的工作個體。

當然，Omniverse 也可以使用在 NVIDIA 自己的產品上，如其自動駕駛系統 NVIDIA DRIVE 的模擬。事實上，NVIDIA 的自駕系統，將會透過車上的感測系統，建立一個在 Omniverse 裡面的全球道路數位雙生 – NVIDIA 宣稱在 2024 年底，將會替北美、歐洲、以及亞洲的主要高速公路建立高達 50 萬公里的數位雙生。而這個數位雙生世界，除了可以提供現實世界的自動駕駛汽車作為地圖使用以外，也可以作為自動駕駛系統的人工智慧模型的訓練場。

而除了以上幾點，Omniverse 還有一個很大的想像空間 – 根據 NVIDIA 的說法，Omniverse 所創造的這些不同的虛擬世界亞空間，是可以交互運作的。雖然未來這部分會怎麼實作的細節，目前尚不清楚，但我們其實可以大概想像，假設有一個 Omniverse 數位雙生，是模擬台灣各地的天氣的，另一個 Omniverse 數位雙生世界，是模擬台灣各地的路況與控制自動駕駛汽車的，這兩個都建立在 Omniverse 平台上的數位世界，是有可能直接把資料與模擬狀況重合在一起的，也就是說，原本模擬交通的數位雙生世界內，可能是沒有天氣狀態的，但透過把這兩個數位雙生連結，現實世界正在下大雨的某地，在天氣模擬的數位雙生 Omniverse 世界裡面也是下著同等的大雨，而這個狀態又能夠同步到自動駕駛系統的數位雙生。在這樣的概念下，不同的 Omniverse 數位雙生，彼此交互運作下，可能產生成千上萬種的組合，這會產生怎麼樣的結果呢？這中間其實有太大的想像空間了。

在上面的範例中，我所謂的元宇宙生產力的來源，其實指的就是人工智慧 AI。在 NVIDIA 所描繪的未來藍圖中，人工智慧與機器人，基本上是與 Omniverse 分不開的。就我個人的看法來說，透過了解 NVIDIA 對於機器人時代的看法，能幫助我們更加了解 Omniverse。所以，下面的這段，我們就用 NVIDIA 對於機器人系統的發展藍圖來切入，來理解 Omniverse 會是個怎麼樣的存在。

在黃仁勳 2022 GTC 的主題演講中，他提到了打造機器人系統的四大支柱 –地面實況資料 (Ground Truth Data)、人工智慧模型 (AI Model)、數位雙生模擬 (SIM Digital Twin)、現實世界的機器人操作 (Real Physical World)。而一個可行的機器人系統，基本上就是由這四個支柱來支撐，產生可以運作的架構。這四個支柱，基本上會產生四個交集，而這四個交集，正是機器人系統的核心關鍵。

第一個交集，是來自於現實世界的機器人操作 (Real Physical World)，與地面實況資料 (Ground Truth Data) 的交集。簡單來說，就是透過真實世界的機器人上面的感測器，收集現實世界的真正地面資料。舉例來說，特斯拉汽車可以透過其上的攝影機，收集道路與路旁建築物的資料。一個亞馬遜的貨運機器人，也可以透過上面的攝影機與感測器，收集倉庫內最新的貨架狀況資料。

而這些資料，將會上傳到雲端，產生一個模擬的數位雙生世界 – 這就是第二個交集。地面實況資料 (Ground Truth Data)，與數位雙生模擬 (SIM Digital Twin) 兩個支柱的交集，就是以機器人所收集到的資料，彙整進雲端平台中，打造一個完全可以模擬真實世界運作的孿生虛擬世界。

第三個交集，是數位雙生模擬 (SIM Digital Twin)，與人工智慧模型 (AI Model) 的交會處。簡單來說，一個完全能夠模擬真實世界的數位雙生，是一個完美訓練人工智慧模型的環境。透過大量的模擬資料與模擬情境，人工智慧模型可以在這個數位雙生裡面不斷的持續進化。

而這將會讓我們進入第四個交集，就是人工智慧模型 (AI Model) 與現實世界的機器人操作 (Real Physical World) 這兩個支柱的交集。在上一個交集所訓練出來的最新人工智慧模型，將能夠布署到現實世界的機器人的運算核心中，更新這些機器人的大腦，讓這些機器人能夠持續在操作上進化。舉例來說，在虛擬世界透過數千萬次的模擬駕駛，更新出來的自動駕駛人工智慧模型最新版，就能夠透過網路直接更新自動駕駛汽車上的演算法。

而在這樣的框架下，Omniverse 處於的位置，就是第二個與第三個交集這兩個區域。透過收集真實資料，打造出虛擬模擬世界，這是 Omniverse 平台可以有的輸入，而透過這個數位模擬世界的運作，產生出新的人工智慧，並且實際運行，這是 Omniverse 平台可以產生的輸出。

在透過 Omniverse 上的應用，以及 NVIDIA 對於機器人系統的思考，來了解 Omniverse 是什麼之後，接下來我來提供我自己的理解版本 – 基本上這是一個用來幫助我自己更能理解 Omniverse 的架構。

我個人認為，要理解 Omniverse 是什麼，我們可以把 Omniverse 分成三大組成區塊，這三個區塊分別是創造 (Create)、模擬 (Simulate)、與運作 (Operate)。也就是說所謂的 Omniverse 平台，裡面包括了能夠創造一個虛擬世界 (你也可以稱為元宇宙) 的相關功能，也包括了讓這個虛擬世界能夠進行各式模擬的功能，最後，則是包括了讓這個虛擬世界能夠持續運作並創造價值的功能區塊。

創造區塊 – 透過自動化或者是手動化的方式，將虛擬世界的組成元素創造出來。如自動駕駛汽車其攝影機拍下來的影像，透過人工智慧的辨識與建模，在 Omniverse 裡面建立完整的虛擬 3D 地圖。又或者是一個設計師在設計軟體裡面花了三天三夜打造好的 3D 模組，將其匯入 Omniverse 世界之中，並透過 Omniverse 的技術，複製出上千個不同的版本。Omniverse 的第一個區塊，是利用人工智慧，讓我們能夠更輕易地創造出一個虛擬世界 – 數位雙生、或者是數位原生元宇宙。

模擬區塊 – 在虛擬世界被打造出來，Omniverse 提供了一套能夠完整模擬的引擎，讓這個世界不是靜態的模型，而是一個動態的、物件之間能夠交互作用的世界。這中間包括了模擬物理法則的引擎，如跑道摩擦力增加會怎麼樣影響法拉利賽車的速度，包括了物件交互作用的引擎，如機器人一號把貨物交付給機器人二號，包括了不同系統之間的交互作用，如天氣模擬系統中 – 台北的一個低氣壓如何影響到新北的一塊積雨雲。這樣的模擬功能，讓每個數位世界，都具備能夠運行的條件。

運作區塊 – 在 Omniverse 前兩個區塊，打造出一個具備運作能力的虛擬世界後，接下來，當然就是讓這個虛擬世界運作。而讓虛擬世界運作，有兩種版本，一種是讓這個世界，依照事先設定好的規則運作，這基本上只是一個大型模擬器 – 資料進入，模擬後輸出。但元宇宙的未來當然不止於此，運作的第二個版本，就是在這個虛擬世界中，會有自主運作的人工智能，這些人工智能，會參與這個世界的運作，擔任這個虛擬世界的腦袋 – 而這是能讓虛擬世界，真正產生巨大經濟價值的部分。

舉例來說，假設我們想像一個巨大的一萬坪的倉庫，裡面有著一千台貨運機器人全天候運作 – 而這個倉庫，利用 Omniverse 打造了一個數位雙生，這個數位雙生，不只百分之百複製了現實的倉庫，而且還同時跟這一千台機器人的運算核心進行連線，這一千台機器人上人工智能的運算，都是在數位雙生完成，而非在機器人終端完成。在這個狀況下，這一千個存在在 Omniverse 上的人工智能，不只可以進行更高效率的合作，還能讓負責管理倉庫的人，能夠更加了解狀況。而在此同時，還有這個數位雙生的複製版本，同步在進行各式演算法的調整，一旦計算出更好的結果，新版的人工智慧就會同步到主體世界裡，更新機器人上面的演算法。

又或者我們來假設一個情景 - 當我們進入一個元宇宙世界，而裡面有成千上萬個 Toy Jenson (元宇宙卡通黃仁勳) 來擔任我們的導覽 – 這樣的情景會怎麼樣完成？首先，會需要有大量的語音資料與動作影像，來組成這個數位角色的模型與說話能力，讓他能夠順暢地與我們對答 – 這是 Omniverse 裡面的創作區塊。接下來，這個虛擬角色，需要有能夠回答我們問題的能力，所以他需要具備模擬一個現實中的導覽員的腦袋運作能力 – 這裡就需要大量的資料，訓練這個虛擬角色能夠聽懂人話，並且從龐大的資料庫中，選取正確的答案，並且用說人話的方式來回答 – 這是 Omniverse 中的模擬區塊。最後，當成千上萬個真人進入這個元宇宙，Omniverse 裡就產生出成千上萬的 Toy Jenson 人工智能，開始帶領這些真人來導覽這個世界，成為虛擬世界的生產力，這就是 Omniverse 裡面的運作區塊。

我想用一張圖來描述我所看到的 NVIDIA 元宇宙藍圖 – 這是一個數位虛擬世界，裡面有大量的人工智能角色，有的是純粹存在在元宇宙的，有的則是擔任實體世界機器的大腦。當人類用虛擬分身進入這個元宇宙時，可以與那些純粹存在在元宇宙的人工智慧互動。而當人類在現實世界生活時，則是與機器人互動，但這些機器人的腦袋，其實是另一個存在在元宇宙的人工智慧。而 NVIDIA 的 Omniverse，就是打造這個元宇宙的工具、讓元宇宙能運轉的技術、並且讓這個元宇宙能夠運行其上的平台。

其實我很好奇，NVIDIA 打造 Omniverse 的過程到底是如何成形的，是一開始就有如現在般完整的藍圖，還是一步步的演化，從一個概念進展到下一個概念。最近聽 Ben Thompson 訪問黃仁勳，問到 NVIDIA 到底是如何從一個顯示晶片廠商發展到現在帶領著運算世界的下一個世代的程度，黃仁勳的回答是他早在當年就已經看到了這個現存的未來 – 或許 Omniverse 也是其中一部分？如果這是真的，最驚人的一點，並不是黃仁勳能在二十年前就看到這個未來，而是他能夠一步一步，把通向這個未來所需要的基石，一個一個打造出來，讓這個未來可以成真。