付費限定文章

緊湊型神經網路壓縮技術 for NeRF by Nvidia Takikawa et al.

隨著生成式AI與NeRF技術的崛起，會有越來越多的圖像與3D內容有快速讀取與容量壓縮的需求，這篇文章提出了一個很好的解法，同時，論文也向我們展示了神經網路壓縮技術的設計思路，值得我們借鑒與應用在其他場合，我將嘗試為大家進行深入解析。

論文架構解析:

藉由兩個不同的Hash，將Vertices均勻對應到 Indexing / Feature codebook上面，藉由倒傳遞收斂來決定Feature Codebook內需要存放的關鍵訊息，也能藉由倒傳遞決定N_p Indexing的位置，傳統的做法沒有Indexing這個部分，即N_p=1，好處是所需要的容量較低，但會導致Hash容易發生碰撞衝突，即兩個相差比較遠的Feature，會撞一起，降低了壓縮模型的表達能力，導致無法精進壓縮率。

本文嘗試使用N_p Probing 索引，付出一些代價以進一步精進壓縮比例，下圖中N_c維度由Hash2直接定址，N_p維度由神經網路去學，取最大值來當作定址目標，倒傳遞收斂的時候使用Softmax輸出，然後N_f維度藉由Hash 和 N_p定址結果，共同決定。

我會認為Index Probing Range N_p 是本篇論文最重要的參數， 可以促進人工智慧去重新定址，做Clustering並且抽取特徵，保留這個彈性，可以解決Hash強碰的問題，能大大的利用神經網路學習的優勢，缺點是增加所需容量的低銷，不過能換到的好處更多。

參數越多壓縮比例越差，但是PSNR保真度越好，這裡提供各種參數方便使用者壓縮的時候調控品質與壓縮比例之間的互換，相信Compact NGP會是目前最佳的3D生成模型如NeRF的最佳夥伴，也會是大型3D全視角VR的首選，另外，本文的壓縮方法對於8K圖片也有很大的壓縮率斬獲，期待本篇作者能持續的精進改良。