付費限定

緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.

更新於 發佈於 閱讀時間約 7 分鐘

隨著生成式AI與NeRF技術的崛起,會有越來越多的圖像與3D內容有快速讀取與容量壓縮的需求,這篇文章提出了一個很好的解法,同時,論文也向我們展示了神經網路壓縮技術的設計思路,值得我們借鑒與應用在其他場合,我將嘗試為大家進行深入解析。


論文架構解析:

藉由兩個不同的Hash,將Vertices均勻對應到 Indexing / Feature codebook上面,藉由倒傳遞收斂來決定Feature Codebook內需要存放的關鍵訊息,也能藉由倒傳遞決定Np Indexing的位置,傳統的做法沒有Indexing這個部分,即Np=1,好處是所需要的容量較低,但會導致Hash容易發生碰撞衝突,即兩個相差比較遠的Feature,會撞一起,降低了壓縮模型的表達能力,導致無法精進壓縮率。

本文嘗試使用Np Probing 索引,付出一些代價以進一步精進壓縮比例,下圖中Nc維度由Hash2直接定址,Np維度由神經網路去學,取最大值來當作定址目標,倒傳遞收斂的時候使用Softmax輸出,然後Nf維度藉由Hash 和 Np定址結果,共同決定。

raw-image


我會認為Index Probing Range Np 是本篇論文最重要的參數, 可以促進人工智慧去重新定址,做Clustering並且抽取特徵,保留這個彈性,可以解決Hash強碰的問題,能大大的利用神經網路學習的優勢,缺點是增加所需容量的低銷,不過能換到的好處更多。

raw-image


參數越多壓縮比例越差,但是PSNR保真度越好,這裡提供各種參數方便使用者壓縮的時候調控品質與壓縮比例之間的互換,相信Compact NGP會是目前最佳的3D生成模型如NeRF的最佳夥伴,也會是大型3D全視角VR的首選,另外,本文的壓縮方法對於8K圖片也有很大的壓縮率斬獲,期待本篇作者能持續的精進改良。

raw-image
以行動支持創作者!付費即可解鎖
本篇內容共 2868 字、0 則留言,僅發佈於人工智慧宇宙你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
avatar-img
95會員
128內容數
帶你用上帝視角,針對市面上具有高度價值的影片/論文/書籍,用東方取象,與西方邏輯辯證的角度同時出發,跟著我一起來探討宇宙萬事萬物的本質,隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷,近期對於人工智慧,東方易經,西方辯證邏輯,還有佛法向內求有深度興趣。
留言
avatar-img
留言分享你的想法!

































































Google Research 在2024年給出了令人滿意的新年禮物,這篇論文內的方法,若持續發展下去,可望顛覆整個影音創作產業,未來製作生動的影音動畫,不再是令人頭痛與耗費心力的一件事情,是不是很酷,讓我們一起看看到底是如何做到的。
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成,這聽起來很不可思議對吧? 但這就是本篇論文取得的成就,不僅如此,該有的功能,如調整情感,口音節奏,停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文,這會是很有趣的旅程。
Transformer被廣泛運用在各種生成式AI,激起了本篇作者的好奇心,是否能用Transformer學到所有先驗知識,足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式,讓有興趣的人可以深入研究。
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?
知名的 Mistral AI 團隊近期丟出了使用 SMOE技術搭建的Mixtral-8x7B,能用較小的運算資源與參數量,打敗ChatGPT3的考試成績。本文藉由兩篇SMOE論文的導讀,抽取其中的核心概念,試圖打開技術的神秘面紗。
Stability AI在圖片/影片/聲音生成領域貢獻了不少心力,近期提出了更加高效率的對抗生成蒸餾方法,只需進行一步計算,便能打敗LCM需要4步計算的結果,來看看具體是如何做到的。
Google Research 在2024年給出了令人滿意的新年禮物,這篇論文內的方法,若持續發展下去,可望顛覆整個影音創作產業,未來製作生動的影音動畫,不再是令人頭痛與耗費心力的一件事情,是不是很酷,讓我們一起看看到底是如何做到的。
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成,這聽起來很不可思議對吧? 但這就是本篇論文取得的成就,不僅如此,該有的功能,如調整情感,口音節奏,停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文,這會是很有趣的旅程。
Transformer被廣泛運用在各種生成式AI,激起了本篇作者的好奇心,是否能用Transformer學到所有先驗知識,足以讓它由一張2D圖片還原3D物件。本篇也從Github上面找到由ZexinHe開源的LRM實作程式,讓有興趣的人可以深入研究。
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?
知名的 Mistral AI 團隊近期丟出了使用 SMOE技術搭建的Mixtral-8x7B,能用較小的運算資源與參數量,打敗ChatGPT3的考試成績。本文藉由兩篇SMOE論文的導讀,抽取其中的核心概念,試圖打開技術的神秘面紗。
Stability AI在圖片/影片/聲音生成領域貢獻了不少心力,近期提出了更加高效率的對抗生成蒸餾方法,只需進行一步計算,便能打敗LCM需要4步計算的結果,來看看具體是如何做到的。
你可能也想看
Google News 追蹤
Thumbnail
絲塔沒事就看電視,追劇追動漫追綜藝,螢幕裡的世界好快樂,吃早餐時哭到不能自己,吃午餐時笑到每叮每噹,對著螢幕叫囂謾罵、花癡氾濫,情緒起伏之大家人習以為常。絲塔散播快樂散播愛,用幽默搞笑的方式分享喜歡的影視娛樂作品,當個快樂的電視兒童!
Thumbnail
吳謹言與王星越主演《墨雨雲間》大受歡迎,她與劉學義合演的復仇古裝新劇《春花焰》在近日上檔,據說播出後熱度狂飆,擠下張晚意、任敏的《錦繡安寧》和李沁、曾舜晞的《七夜雪》熱度奪冠。 這三部我每部都有看,而且都只看到前面幾集,所以我可以大聲明確的說,這部陸劇【春花焰】的卻比前兩部好看太多......
Thumbnail
由崔振赫、鄭恩地、李姃垠主演,精彩逗趣的劇情使《她的日與夜》播出後大受歡迎,口碑很不錯,這也是我後來跟進追起這部劇的最大原因,畢竟男女主角全都不是我的菜。 不過長年追劇的經驗告訴我,只要評分高口碑好的劇就算不是自己的菜也得開來看看,也常常因此撈到一些差點錯過的好劇......
Thumbnail
darkFlash GD100雙模機械鍵盤是一款結合外觀設計與功能性的產品,提供了全區防鬼鍵設計,支援無線2.4Ghz與有線連接兩種連線方式。機械鍵盤具有熱插拔軸體設計,並搭配線性黃軸,適合辦公、遊戲使用。本文分享了開箱內容、操作使用心得以及產品特色。
Thumbnail
隨著生成式AI不斷的推陳出新,對於能有效壓縮這些豐富且大量內容的技術,變得至關重要,影響著傳輸速度與執行速度,本文的壓縮架構,能夠有效地做成專用IC,在同樣的畫質水準下,甚至能夠達成JPEG 1/3的壓縮後容量,此方法可應用在各種3D NeRF生成作品上面,各種VR與3D生成技術都必然會用到。
Thumbnail
趁著身體還留有山上的節奏的時候,把一些還鮮明的記憶給烙印下來。 這次上山完成了一個埋藏、鋪陳、醞釀很久很久的心願。 不是那種很爽快的高峰經驗,而是那種「呼......」長吁一口氣之後的,深深地滿足感。 第三天晚上我就和伙伴說,這趟山行已經沒有遺憾了。
Thumbnail
2023年與長月燼明並列最喜歡的中國古裝劇!結合武俠與懸疑探案,劇情從頭到尾都緊湊,三主角智商都在線,是可以並肩同行的一家人(?)而且男主真的是集結嘴砲系+破碎系於一身,超愛這種一本正經說胡話的風格!   一開始因為江湖門派術語有點黑人問號,進入狀況之後,就對李蓮花這個人再也移不開眼睛,因為
Thumbnail
上越市位於新潟縣西南部面向日本海,為新潟縣第三大城市,也是上越地方的中心都市,自古以來作為交通樞紐而繁榮,至今仍是重要的港口的直江津港、多條高速公路及電車鐵道交會,與三大都會區幾乎等距,是擁有發達的陸路和海上交通網絡的領先區域城市之一。市中心有關川、保倉川等流經高田平原, 廣闊的平原周圍有米山山脈、
Thumbnail
復仇的故事經常需要非常天馬行空的想像,不去論究「這到底合不合理」或是「現實真的可能發生嗎?」,只需要說服聽故事的人相信「這世界總是有正義出現的可能」,即使只是「一場戲/一場夢」也至少可以暢快地舒發內心對於現實無能為力的憤怒!從一個人的武林到一群人的江湖,《監獄醫生》會讓你知道「什麼是停不下來的追劇!
Thumbnail
.這才想起台灣即使是電影的題材,也少有這類的故事,且多半故事不夠精采也多用場面去撐。《毒梟聖徒》則是一部不論是故事或是製作與技術上都算完美呈現的短影集、長電影,值得一看!
Thumbnail
絲塔沒事就看電視,追劇追動漫追綜藝,螢幕裡的世界好快樂,吃早餐時哭到不能自己,吃午餐時笑到每叮每噹,對著螢幕叫囂謾罵、花癡氾濫,情緒起伏之大家人習以為常。絲塔散播快樂散播愛,用幽默搞笑的方式分享喜歡的影視娛樂作品,當個快樂的電視兒童!
Thumbnail
吳謹言與王星越主演《墨雨雲間》大受歡迎,她與劉學義合演的復仇古裝新劇《春花焰》在近日上檔,據說播出後熱度狂飆,擠下張晚意、任敏的《錦繡安寧》和李沁、曾舜晞的《七夜雪》熱度奪冠。 這三部我每部都有看,而且都只看到前面幾集,所以我可以大聲明確的說,這部陸劇【春花焰】的卻比前兩部好看太多......
Thumbnail
由崔振赫、鄭恩地、李姃垠主演,精彩逗趣的劇情使《她的日與夜》播出後大受歡迎,口碑很不錯,這也是我後來跟進追起這部劇的最大原因,畢竟男女主角全都不是我的菜。 不過長年追劇的經驗告訴我,只要評分高口碑好的劇就算不是自己的菜也得開來看看,也常常因此撈到一些差點錯過的好劇......
Thumbnail
darkFlash GD100雙模機械鍵盤是一款結合外觀設計與功能性的產品,提供了全區防鬼鍵設計,支援無線2.4Ghz與有線連接兩種連線方式。機械鍵盤具有熱插拔軸體設計,並搭配線性黃軸,適合辦公、遊戲使用。本文分享了開箱內容、操作使用心得以及產品特色。
Thumbnail
隨著生成式AI不斷的推陳出新,對於能有效壓縮這些豐富且大量內容的技術,變得至關重要,影響著傳輸速度與執行速度,本文的壓縮架構,能夠有效地做成專用IC,在同樣的畫質水準下,甚至能夠達成JPEG 1/3的壓縮後容量,此方法可應用在各種3D NeRF生成作品上面,各種VR與3D生成技術都必然會用到。
Thumbnail
趁著身體還留有山上的節奏的時候,把一些還鮮明的記憶給烙印下來。 這次上山完成了一個埋藏、鋪陳、醞釀很久很久的心願。 不是那種很爽快的高峰經驗,而是那種「呼......」長吁一口氣之後的,深深地滿足感。 第三天晚上我就和伙伴說,這趟山行已經沒有遺憾了。
Thumbnail
2023年與長月燼明並列最喜歡的中國古裝劇!結合武俠與懸疑探案,劇情從頭到尾都緊湊,三主角智商都在線,是可以並肩同行的一家人(?)而且男主真的是集結嘴砲系+破碎系於一身,超愛這種一本正經說胡話的風格!   一開始因為江湖門派術語有點黑人問號,進入狀況之後,就對李蓮花這個人再也移不開眼睛,因為
Thumbnail
上越市位於新潟縣西南部面向日本海,為新潟縣第三大城市,也是上越地方的中心都市,自古以來作為交通樞紐而繁榮,至今仍是重要的港口的直江津港、多條高速公路及電車鐵道交會,與三大都會區幾乎等距,是擁有發達的陸路和海上交通網絡的領先區域城市之一。市中心有關川、保倉川等流經高田平原, 廣闊的平原周圍有米山山脈、
Thumbnail
復仇的故事經常需要非常天馬行空的想像,不去論究「這到底合不合理」或是「現實真的可能發生嗎?」,只需要說服聽故事的人相信「這世界總是有正義出現的可能」,即使只是「一場戲/一場夢」也至少可以暢快地舒發內心對於現實無能為力的憤怒!從一個人的武林到一群人的江湖,《監獄醫生》會讓你知道「什麼是停不下來的追劇!
Thumbnail
.這才想起台灣即使是電影的題材,也少有這類的故事,且多半故事不夠精采也多用場面去撐。《毒梟聖徒》則是一部不論是故事或是製作與技術上都算完美呈現的短影集、長電影,值得一看!