以流為基礎的深度生成模型
以流為基礎的深度生成模型藉助正規化流這一強大的統計工具來解決密度估計這個困難問題。對 p(x) 的良好估計使得有效完成許多下游任務成為可能：取樣未觀察到但真實的新數據點（數據生成）、預測未來事件的稀有程度（密度估計）、推斷潛在變量、填補不完整的數據樣本等。
生成模型的類型
以下是生成對抗網路（GAN）、變分自編碼器（VAE）和以流為基礎的生成模型之間差異的簡單介紹：
生成對抗網路：GAN提供了一個巧妙的解決方法，將資料生成這個非監督式學習問題轉化為監督式學習問題。判別器模型學習區分真實資料和生成器模型產生的假樣本資料。兩個模型在訓練過程中如同進行極小極大博弈過程。
變分自編碼器：VAE通過最大化證據下界（ELBO）來間接最佳化數據的對數相似性。
基於流的生成模型：基於流的生成模型由一系列可逆變換建構。與其他兩種模型不同，該模型明確地學習數據分佈 p(x)，因此損失函數就是簡單的負對數相似性。
什麼是正規化流？
密度估計是一種幫助解決機器學習問題的重要方法，但要進行一個精準的密度估計非常困難。例如，由於我們需要在深度學習模型中運行反向傳播，嵌入的機率分佈（即後驗 p(z∣x)）必須要簡單到能夠容易且快速地計算導數。正規化流（NF）方法在此時採用更好的分佈近似而被廣泛應用。正規化流通過使用一系列可逆變換函數，將簡單的分佈轉換為複雜的分佈。通過一連串的變換，我們根據變量變換定理反覆替換變量，最終得到目標變量的機率分佈。
Reference
1. Normalizing Flows by Adam Kosiorek.
- Danilo Jimenez Rezende, and Shakir Mohamed. “Variational inference with normalizing flows.” ICML 2015.
- Laurent Dinh, Jascha Sohl-Dickstein, and Samy Bengio. “Density estimation using Real NVP.” ICLR 2017.
留言
留言分享你的想法！
你可能也想看
Google News 追蹤
空單爆天量、技術指標超賣、情緒恐慌到極致：美股嘎空行情有機會啟動嗎？
重點摘要：
技術面極度超賣，反彈條件醞釀中，但尚未明確止穩
SPY 與 QQQ 的重要指標，如MACD、KDJ、RSI等指標進入極端超賣區，但尚未出現底部鈍化或明確反轉訊號，技術面仍屬空方主導。
連續出現跳空缺口，空方動
【vocus 精選投資理財/金融類沙龍，輸入 "moneyback" 年訂閱 9 折】
市場動盪時，加碼永遠值得的投資標的——「自己」
川普政府再度拋出關稅震撼彈，全球市場應聲重挫，從散戶到專業投資人，都急著找尋買進殺出的訊號，就是現在，輪到知識進場！把握時機讓自己升級，別放過反彈的機會！
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型，並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing，現
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 19中，闡述了Inference的Pipeline為t = f(n)，現在我們做一些擴充與特點說明：
t = f(n)其實展
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 18中，介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。
完整Pipeline可能
空單爆天量、技術指標超賣、情緒恐慌到極致：美股嘎空行情有機會啟動嗎？
重點摘要：
技術面極度超賣，反彈條件醞釀中，但尚未明確止穩
SPY 與 QQQ 的重要指標，如MACD、KDJ、RSI等指標進入極端超賣區，但尚未出現底部鈍化或明確反轉訊號，技術面仍屬空方主導。
連續出現跳空缺口，空方動
【vocus 精選投資理財/金融類沙龍，輸入 "moneyback" 年訂閱 9 折】
市場動盪時，加碼永遠值得的投資標的——「自己」
川普政府再度拋出關稅震撼彈，全球市場應聲重挫，從散戶到專業投資人，都急著找尋買進殺出的訊號，就是現在，輪到知識進場！把握時機讓自己升級，別放過反彈的機會！
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型，並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing，現
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 19中，闡述了Inference的Pipeline為t = f(n)，現在我們做一些擴充與特點說明：
t = f(n)其實展
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 18中，介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。
完整Pipeline可能