付費限定
用一張圖片生成多視角3D，LRM by Hong et al.
閱讀時間約 3 分鐘
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。
論文整體架構:
Image本身經過Vision Transformer (DINO) 架構進行編碼，DINO由Meta開發，目前數一數二的影像編碼模型。將2D圖片編碼後可得到 (32 x 32) x 768 的Latent，藉由Cross Attention 結合NeRF / Triplane 的3D生成架構，解碼並進行體積渲染還原出數個視角的2D圖片，進行2-Norm 和 LPIPS (感知相似性) Loss的收斂。
由不同的Camera features，可以解碼產生不同視角的圖片，Inference的時候，query 總共 384 x 384 x 384 個點生成mesh (w/ marching cubes)，使用的相機視角可以包含每個角度的正規化相機參數，這些參數也是當初拿來訓練的相機參數。
許多準備好的Ground True Views，用來收斂模型的Loss
以行動支持創作者！付費即可解鎖
本篇內容共 1577 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 擁有先進的翻譯能力，能夠捕捉多種語言中單字序列的意思，在第四章中，我們將介紹一些關鍵的翻譯概念，並探討它們在 Google Trax、Googl
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊：
原始 Transform
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 34，我們談了許多 Transformer 議題，以下來做條列性結論：
Transformer 迫使人工
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
生成式人工智慧模糊了雲端平台、框架、函式庫、語言和模型之間的界線，以下展開幾項事實：
OpenAI 部署了一個Transformer API，幾乎不需要程式設計。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論，接著來鋪陳AI的歷史軌跡，以達到目前Transformer的巔峰。
在19
從文字輸入建立 3D 頭像動畫代表了重大飛躍。想像一下，只需輸入幾句話，就可以看到一個詳細、栩栩如生的頭像在螢幕上栩栩如生，並以逼真的動畫移動。這項技術並不是科幻小說中的幻想；而是一種技術。這是由尖端人工智慧 (AI) 驅動的令人興奮的現實。文字描述向動畫角色的轉變正在重塑數位創造力，並為個
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 擁有先進的翻譯能力，能夠捕捉多種語言中單字序列的意思，在第四章中，我們將介紹一些關鍵的翻譯概念，並探討它們在 Google Trax、Googl
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊：
原始 Transform
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 34，我們談了許多 Transformer 議題，以下來做條列性結論：
Transformer 迫使人工
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
生成式人工智慧模糊了雲端平台、框架、函式庫、語言和模型之間的界線，以下展開幾項事實：
OpenAI 部署了一個Transformer API，幾乎不需要程式設計。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論，接著來鋪陳AI的歷史軌跡，以達到目前Transformer的巔峰。
在19
從文字輸入建立 3D 頭像動畫代表了重大飛躍。想像一下，只需輸入幾句話，就可以看到一個詳細、栩栩如生的頭像在螢幕上栩栩如生，並以逼真的動畫移動。這項技術並不是科幻小說中的幻想；而是一種技術。這是由尖端人工智慧 (AI) 驅動的令人興奮的現實。文字描述向動畫角色的轉變正在重塑數位創造力，並為個