付費限定

用一張圖片生成多視角3D,LRM by Hong et al.

更新於 發佈於 閱讀時間約 3 分鐘

Transformer被廣泛運用在各種生成式AI,激起了本篇作者的好奇心,是否能用Transformer學到所有先驗知識,足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式,讓有興趣的人可以深入研究。

論文整體架構:

Image本身經過Vision Transformer (DINO) 架構進行編碼,DINO由Meta開發,目前數一數二的影像編碼模型。將2D圖片編碼後可得到 (32 x 32) x 768 的Latent,藉由Cross Attention 結合NeRF / Triplane 的3D生成架構,解碼並進行體積渲染還原出數個視角的2D圖片,進行2-Norm 和 LPIPS (感知相似性) Loss的收斂。

raw-image


由不同的Camera features,可以解碼產生不同視角的圖片,Inference的時候,query 總共 384 x 384 x 384 個點生成mesh (w/ marching cubes),使用的相機視角可以包含每個角度的正規化相機參數,這些參數也是當初拿來訓練的相機參數。

許多準備好的Ground True Views,用來收斂模型的Loss

許多準備好的Ground True Views,用來收斂模型的Loss

以行動支持創作者!付費即可解鎖
本篇內容共 1577 字、0 則留言,僅發佈於人工智慧宇宙你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
avatar-img
95會員
128內容數
帶你用上帝視角,針對市面上具有高度價值的影片/論文/書籍,用東方取象,與西方邏輯辯證的角度同時出發,跟著我一起來探討宇宙萬事萬物的本質,隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷,近期對於人工智慧,東方易經,西方辯證邏輯,還有佛法向內求有深度興趣。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?
知名的 Mistral AI 團隊近期丟出了使用 SMOE技術搭建的Mixtral-8x7B,能用較小的運算資源與參數量,打敗ChatGPT3的考試成績。本文藉由兩篇SMOE論文的導讀,抽取其中的核心概念,試圖打開技術的神秘面紗。
Stability AI在圖片/影片/聲音生成領域貢獻了不少心力,近期提出了更加高效率的對抗生成蒸餾方法,只需進行一步計算,便能打敗LCM需要4步計算的結果,來看看具體是如何做到的。
本篇文章為大家導讀近日火熱的Mamba Paper,新聞標題說它是Transformer的繼任者,是否真是如此? 讓我們一起一探究竟,本文著重介紹論文前半部分。
Starling-LM-7B近來火燙,有使用到本篇的C-RLFT技術,基於此基礎上可以把7B小模型的微調成績做到頂尖,一起來理解OpenChat 的 C-RLFT技術是如何實現的,所能產生的效果為何,以及探索為何能達到這樣好的成績。
微軟爸爸發論文教大家如何訓練與評估model,有完整的訓練思路與評估方法,雖然本篇沒有任何Fine-tune的手法,比較不接地氣,但是仍然可以當成一個好的參考範例,可以從中學到許多評估模型的角度與關鍵指標,改天會進行總結整理。
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?
知名的 Mistral AI 團隊近期丟出了使用 SMOE技術搭建的Mixtral-8x7B,能用較小的運算資源與參數量,打敗ChatGPT3的考試成績。本文藉由兩篇SMOE論文的導讀,抽取其中的核心概念,試圖打開技術的神秘面紗。
Stability AI在圖片/影片/聲音生成領域貢獻了不少心力,近期提出了更加高效率的對抗生成蒸餾方法,只需進行一步計算,便能打敗LCM需要4步計算的結果,來看看具體是如何做到的。
本篇文章為大家導讀近日火熱的Mamba Paper,新聞標題說它是Transformer的繼任者,是否真是如此? 讓我們一起一探究竟,本文著重介紹論文前半部分。
Starling-LM-7B近來火燙,有使用到本篇的C-RLFT技術,基於此基礎上可以把7B小模型的微調成績做到頂尖,一起來理解OpenChat 的 C-RLFT技術是如何實現的,所能產生的效果為何,以及探索為何能達到這樣好的成績。
微軟爸爸發論文教大家如何訓練與評估model,有完整的訓練思路與評估方法,雖然本篇沒有任何Fine-tune的手法,比較不接地氣,但是仍然可以當成一個好的參考範例,可以從中學到許多評估模型的角度與關鍵指標,改天會進行總結整理。
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
約莫兩個月前,我與朋友G不期而遇,一陣寒暄以後,他問,最近我是否前往日本旅遊,不要只往東京的古舊書店跑,偶爾看看京都的古寺與滿山紅葉,也很浪漫很詩情畫意的。   我不否定他G的好意,之前我亦數次到京都旅遊。不過,我始終認為,京都的外國觀光客太多(泛濫成災)了,我認定和尋求的那份古雅的寧靜就這樣隨
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 127 中提及: Transformer 的關鍵參數為: 原始 Transformer 模型中,左圖的 N = 6 原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 擁有先進的翻譯能力,能夠捕捉多種語言中單字序列的意思,在第四章中,我們將介紹一些關鍵的翻譯概念,並探討它們在 Google Trax、Googl
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 書籍:Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 的重要性已經被公認了,因此在 Hugging Face 中亦有被實作,呼叫方式如下: !pip -q install transformers
Thumbnail
這本《吃出好睡眠》不只談睡眠機制跟營養素,還有40道的助眠食譜,剛剛分享營養師菜單有一些料理就出自這本書,食譜不只是甜點,還有粥、輕食及湯品,每一道料理的食材都很簡單菜市場、超市就能取得,動手做一點都不難。
Thumbnail
我用 Notion 打造人生系統,用 Heptabase 做好個人知識管理,其實嚴格來說,PKM(個人知識管理)是我人生系統中的一小部分,接下來我想分段介紹其中的概念,這個系統結合了很多理論和技巧,也融合了數位收納的概念。
Thumbnail
Transformer被廣泛運用在各種生成式AI,激起了本篇作者的好奇心,是否能用Transformer學到所有先驗知識,足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式,讓有興趣的人可以深入研究。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
約莫兩個月前,我與朋友G不期而遇,一陣寒暄以後,他問,最近我是否前往日本旅遊,不要只往東京的古舊書店跑,偶爾看看京都的古寺與滿山紅葉,也很浪漫很詩情畫意的。   我不否定他G的好意,之前我亦數次到京都旅遊。不過,我始終認為,京都的外國觀光客太多(泛濫成災)了,我認定和尋求的那份古雅的寧靜就這樣隨
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 127 中提及: Transformer 的關鍵參數為: 原始 Transformer 模型中,左圖的 N = 6 原始 Tran
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 擁有先進的翻譯能力,能夠捕捉多種語言中單字序列的意思,在第四章中,我們將介紹一些關鍵的翻譯概念,並探討它們在 Google Trax、Googl
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 書籍:Transformers for Natural Language Processing and Computer Vision, Denis Rothman,
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 的重要性已經被公認了,因此在 Hugging Face 中亦有被實作,呼叫方式如下: !pip -q install transformers
Thumbnail
這本《吃出好睡眠》不只談睡眠機制跟營養素,還有40道的助眠食譜,剛剛分享營養師菜單有一些料理就出自這本書,食譜不只是甜點,還有粥、輕食及湯品,每一道料理的食材都很簡單菜市場、超市就能取得,動手做一點都不難。
Thumbnail
我用 Notion 打造人生系統,用 Heptabase 做好個人知識管理,其實嚴格來說,PKM(個人知識管理)是我人生系統中的一小部分,接下來我想分段介紹其中的概念,這個系統結合了很多理論和技巧,也融合了數位收納的概念。
Thumbnail
Transformer被廣泛運用在各種生成式AI,激起了本篇作者的好奇心,是否能用Transformer學到所有先驗知識,足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式,讓有興趣的人可以深入研究。