AI之路有你有我
12公開內容
這裡會放置一些我有興趣的一些AI領域的學習統整，包含影像，文字，音訊等領域
全部內容
免費與付費
最新發佈優先
我們前面幾篇已經講完TTS技術的一大半架構了，知道了如何將聲學特徵重建回音訊波形，也從中可以知道要是聲學特徵不完善，最終取得的結果也會不自然，剩下要探討該如何將文字轉換成聲學特徵，且能夠自然地表現停頓及細節變化，讓我們開始吧。
距離上篇已經快過一個月了，這個月我也沒閒著，我FF14生產職拉了不少等級進行了上篇 WaveNet 的後續調試，也比較與其他人實現的效果，又發現了幾個實作上可能造成困難的點，現在就跟各位分享一下~
WaveNet 提供了一個先進的架構用於音訊重建，但是，有必要嗎? Mel 頻譜本身就是經過數學轉換而獲得的結果，不能反運算嗎 ? 到底 WaveNet 在其中扮演了甚麼腳色 ?它是如何運作的 ? 讓我們在這篇好好探討下去。
我們在語音初探篇提到TTS的流程可以分成三個部分 :輸入前處理、預測音訊特徵、語音重建，其中輸入前處理的部分上兩篇已經處理完，在進入預測音訊特徵前，讓我們先來理解最後的語音重建部分。
上回我們講到 Word Embedding 能夠將字詞表示從使用字典索引改成詞向量表示，且這個詞向量能夠包含一定程度上的語義訊息，今天就讓我們探討 Word Embedding 到底是如何訓練成的。
上篇我們簡單的了解了 TTS 想要達到的目標，但是對於訓練資料的處理、網路架構、損失函數、輸出分析等考慮到篇幅尚未解釋清楚，這篇將針對訓練資料處理中的文字部分進行詳細說明，讓我們開始吧。
在 AI 應用中，圖像、語音、文字三種可以說是主要應用，其中我一直以來都是專注於圖像上的研究，對於另兩種僅止於淺嚐，接下來就往音訊上研究看看，先從入門級的Text-To-Speech (TTL) 入場並一個個嘗試其他類型的應用，那麼，就讓我們開始吧。
不知道大家會不會有這種感覺，在使用現今的一些預訓練模型時，雖然好用，但是實際在場域部屬時總感覺殺雞焉用牛刀，實際使用下去後續又沒有時間讓你去優化它，只好將錯就錯反正能用的想法持續使用，現在有個不錯的方法讓你在一開始就可以用相對低廉的成本去優化這個模型，讓後續使用不再懊悔。
經過三篇的進展，我們目前實作的網路已經能做到同時訓練多種風格，且後續可以直接進行轉換，不用重新訓練，但是這種方法畢竟還是受到了預訓練的風格制約，無法跳脫出來，那麼有什麼辦法能夠讓他對於沒學過的風格也有一定的反應能力呢?
上篇我們已經把風格融入在一個網路之中，實現了訓練一次就可以轉換不同的圖片成我們訓練的風格，但是這樣還不夠，因為這樣每個風格都得訓練一個網路來轉換，太浪費了，那麼，我們有沒有辦法在同一個網路中訓練多個風格呢?
