Luma AI 顛覆視覺體驗！3D生成如此簡單

今天來分享一個和視覺有關，效果超級 Amazing 的 AI工具── Luma AI。

當初在看到這款軟體令我印象最深刻的是，它能直接將影片（或多張照片）轉換成立體的逼真3D圖像。

先來瞧瞧實際生成的結果

展示範例

是不是十分地 Amazing 呢！😮

1. 簡介 Luma AI

願景

Luma 的使命是讓每個人都能捕捉和體驗逼真的 3D 世界。下一步是改變我們在網路上分享記憶、探索產品和空間的方式。將照片和影片帶入混合實境 3D 未來。

使用技術

Luma AI 的3D生成技術使用的是 NeRF 神經輻射場技術，主要透過物件的大小、距離，以及「光線反射」，例如陰影、亮度、顏色等資訊進行渲染。因此畫面中物件的材質會大大影響3D生成的效果。官方文檔也表明了對特殊反射材質的處理的難處。

^{目前難以處理複雜的反射（例如彎曲的鏡面表面）、彎曲的透明物件（例如車窗或塑膠水瓶）以及非常大的無紋理表面（例如白色的牆壁）。大多數其他材料都效果良好。}

2. 如何使用

平台入口

Luma AI 有推出網站平台以及手機版

• 網站版：操作十分簡單，登入之後只需上傳想變成 3D 的影像，就可以列隊等待生成結果了。（且完全免費！）
• 手機版：則更簡單，從「拍攝影片到上傳、生成結果」一氣呵成。👍

甚至還附有貼心的引導網格線，指引你如何拍出優質的影像數據。

手機版有引導格線－圖片擷取自App Store介紹

當然，假如要生成一個好的 3D 物件，影片可不能隨便拍拍就好。

官方的建議是用低中高不同角度、緩慢地循環捕捉場景。

影片拍攝指引說明

• 拍攝影片時禁用 HDR
• 透過循環捕捉場景或物體
• 理想情況下，從 3 個高度進行循環拍攝：手機在胸部高度向前看，手機在頭部上方一點，指向場景的中心，最後從膝蓋高度指向上方。
• 緩慢拍攝以減少模糊

^{經筆者幾次實測，若有按照上述提示拍攝影片素材，所生成的 3D 物件/場景都能有不錯了的成果。😊}

優缺點

• 優點

操作簡單易上手（錄好影片上傳即可轉 3D）
免費且可商業使用
容易共享（可以分享連結或嵌入程式碼）

• 缺點

主體物件以外的場景容易出現模糊殘影。
細節部分仍較粗糙，無法取代精細的 3D 掃描儀。

3. 測試範例

用盆栽當主角測試
（那剛開始渲染的畫面，每次看都覺得很酷XD）

用小盆栽來測試 效果不錯

點進去連結，可以從不同角度觀看
_{(可以用鍵盤的WASD前後左右移動+QE上下移動)}

令我比較震驚的是，在拍不到的地方（比如窗外），這個工具竟有能力靠演算重建原本的物件！

像是這邊窗戶外那一側我是完全拍不到的，它卻能模擬出從窗外看進來的視角😲（儘管大部分看起來仍然模糊，但能做到這樣已是不可思議）

居然能模擬從窗外看進來的視角

4. 應用發想

家俱買賣、車子交易

逼真寫實的效果

線上賞車

虛擬旅遊、建築設計、藝術品欣賞

在網路遊覽世界著名景點

欣賞建築

欣賞藝術品

可以從多種角度去欣賞

遊戲3D建模、AR/VR遊戲、空間引導

寬廣的車站空間也能3D化

遊戲3D建模

其他奇妙應用

海底探險、寵物分享

海底比較難建模的地方，現在只要拍段影片也能輕鬆建模

沉浸式吸貓(=´ω`=)

5. 結語

自電腦與 AI 問世後，人類的科技便不斷地躍進。伴隨而來的神奇應用層出不窮。像是Luma AI 這方便人們輕鬆將影片轉成 3D 物件的功能，儘管目前尚未純熟，但卻能讓人們瞥見了未來的無限可能。

姑且不論轉成 3D 圖像之後的數不清的應用。光是能從不同角度去看一張圖像這個功能，就令人感到相當驚奇了。筆者已能想像不久的將來手機裡存的照片不再只是 2D 照片，而是能從各種角度去觀賞的 3D 圖像了。

這不禁讓我聯想到了哆啦Ａ夢裡一個名為「立體相簿」的道具。（其功能就是能讓照片變成立體的）。隨著科技進步，已有越來越多奇妙道具變成現實了呢。

By 阿福