生成式學習的兩種策略： 各個擊破還是一次到位

生成的最小單位: 理解內容組成的基礎

生成策略之一: 各個擊破的逐步生成

生成策略之二: 一次到位的全面生成

兩種生成策略的對比: 品質與速度的平衡

了解 NAR 模型速度之快: 內在運作原理的探討

策略融合的可能: 品質與速度的兩全其美

語音生成的策略融合

語音生成技術需要將文本轉換為語音。在這個過程中，我們可以選擇使用"各個擊破"或"一次到位"兩種策略。然而，我們也可以結合兩種策略，以充分利用兩者的優勢。以下是一種如何結合這兩種策略的方法，我們將以一種輕鬆理解的方式進行說明。

首先，讓我們把語音想像成一串珠子，每一顆珠子都代表語音中的一個取樣點。在"各個擊破"的階段，我們會像串珠一樣，一個取樣點接一個取樣點地生成語音。比方說，我們可以每秒生成100個取樣點，這就像是我們在每秒鐘內將100顆珠子串到一條線上。這個過程能確保語音的流暢性，因為每一個取樣點都依賴於前一個取樣點。

然後，在"一次到位"的階段，我們會將這100個取樣點（或者說，這100顆珠子）視為一個整體，並同時對其進行調整。這就像是我們在將100顆珠子串成一條線之後，立即對這條線上的所有珠子進行顏色或形狀的調整。這樣的過程可以大幅提高生成速度，因為所有的取樣點都是同時被調整的。

因此，透過結合"各個擊破"與"一次到位"的策略，我們可以在保持語音的流暢性的同時，也提高語音的生成速度。這就像是我們在串珠時，既能確保每一顆珠子都被細心串到線上，又能立即對所有的珠子進行調整，使得整條珠子線看起來更完美。

Diffusion Model的策略融合

當我們討論影像生成時，我們可以將其視為從一幅模糊的畫開始，逐步添加更多細節，直到我們得到一幅清晰、細膩的畫作。Diffusion Model 就是如此來結合"各個擊破"和"一次到位"兩種策略的優勢。

Diffusion Model的工作方式有點像我們在實際生活中創作一幅畫。首先，我們可能會在畫布上畫出一個大概的草圖，這個草圖代表我們的想法和目標。然後，我們會逐步添加細節，填充顏色，進行修飾，直到最後完成一幅清晰的畫作。在這個過程中，我們並不是一次就完成所有的細節，而是分階段逐步添加。

Diffusion Model就是透過這種方式來生成影像。它首先創建一個模糊的影像，然後透過一系列的步驟來添加細節。這就像我們先畫出一個大概的草圖，然後逐步填充顏色和細節。每一個步驟都是一次"到位"，因為在每個步驟中，模型都會同時更新所有的像素。

然而，這一次的"到位"並不是將影像立即變成最終的清晰影像，而是逐步添加細節。這就像我們在畫畫時，每一步都在補充草圖的細節，但不會一次就畫出最終的畫面。因此，Diffusion Model可以被視為是"各個擊破"和"一次到位"兩種策略的結合。

透過這種方式，Diffusion Model可以在保留"各個擊破"策略帶來的細節度和質量的同時，利用"一次到位"策略提高生成速度。這就像是我們在畫畫時，既能確保每一步都有細節的添加，又能快速完成整幅畫作。

---

我們這篇文章內的圖表都是由李宏毅老師的課程投影片中選錄截取出來的，原始投影片可參考李老師課程首頁內連接： Machine Learning 2023 Spring 很感謝李宏毅老師同意使用。