付費限定
用一張圖片生成多視角3D，LRM by Hong et al.
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。
論文整體架構:
Image本身經過Vision Transformer (DINO) 架構進行編碼，DINO由Meta開發，目前數一數二的影像編碼模型。將2D圖片編碼後可得到 (32 x 32) x 768 的Latent，藉由Cross Attention 結合NeRF / Triplane 的3D生成架構，解碼並進行體積渲染還原出數個視角的2D圖片，進行2-Norm 和 LPIPS (感知相似性) Loss的收斂。
由不同的Camera features，可以解碼產生不同視角的圖片，Inference的時候，query 總共 384 x 384 x 384 個點生成mesh (w/ marching cubes)，使用的相機視角可以包含每個角度的正規化相機參數，這些參數也是當初拿來訓練的相機參數。
許多準備好的Ground True Views，用來收斂模型的Loss
以行動支持創作者！付費即可解鎖
本篇內容共 1577 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
95會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
約莫兩個月前，我與朋友G不期而遇，一陣寒暄以後，他問，最近我是否前往日本旅遊，不要只往東京的古舊書店跑，偶爾看看京都的古寺與滿山紅葉，也很浪漫很詩情畫意的。
我不否定他G的好意，之前我亦數次到京都旅遊。不過，我始終認為，京都的外國觀光客太多（泛濫成災）了，我認定和尋求的那份古雅的寧靜就這樣隨
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 擁有先進的翻譯能力，能夠捕捉多種語言中單字序列的意思，在第四章中，我們將介紹一些關鍵的翻譯概念，並探討它們在 Google Trax、Googl
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
這本《吃出好睡眠》不只談睡眠機制跟營養素，還有４０道的助眠食譜，剛剛分享營養師菜單有一些料理就出自這本書，食譜不只是甜點，還有粥、輕食及湯品，每一道料理的食材都很簡單菜市場、超市就能取得，動手做一點都不難。
我用 Notion 打造人生系統，用 Heptabase 做好個人知識管理，其實嚴格來說，PKM（個人知識管理）是我人生系統中的一小部分，接下來我想分段介紹其中的概念，這個系統結合了很多理論和技巧，也融合了數位收納的概念。
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
約莫兩個月前，我與朋友G不期而遇，一陣寒暄以後，他問，最近我是否前往日本旅遊，不要只往東京的古舊書店跑，偶爾看看京都的古寺與滿山紅葉，也很浪漫很詩情畫意的。
我不否定他G的好意，之前我亦數次到京都旅遊。不過，我始終認為，京都的外國觀光客太多（泛濫成災）了，我認定和尋求的那份古雅的寧靜就這樣隨
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在 AI說書 - 從0開始 - 127 中提及：
Transformer 的關鍵參數為：
原始 Transformer 模型中，左圖的 N = 6
原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 擁有先進的翻譯能力，能夠捕捉多種語言中單字序列的意思，在第四章中，我們將介紹一些關鍵的翻譯概念，並探討它們在 Google Trax、Googl
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下：
!pip -q install transformers
這本《吃出好睡眠》不只談睡眠機制跟營養素，還有４０道的助眠食譜，剛剛分享營養師菜單有一些料理就出自這本書，食譜不只是甜點，還有粥、輕食及湯品，每一道料理的食材都很簡單菜市場、超市就能取得，動手做一點都不難。
我用 Notion 打造人生系統，用 Heptabase 做好個人知識管理，其實嚴格來說，PKM（個人知識管理）是我人生系統中的一小部分，接下來我想分段介紹其中的概念，這個系統結合了很多理論和技巧，也融合了數位收納的概念。
Transformer被廣泛運用在各種生成式AI，激起了本篇作者的好奇心，是否能用Transformer學到所有先驗知識，足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式，讓有興趣的人可以深入研究。