VAD代表語音活動檢測， 全名為 Voice Activity Detection， 它是信號處理技術， 主要從音訊中分離出人類語音的部份，算法的實現方式多樣，通常基於信號的能量、短時過零率、頻譜特徵等。一些先進的 VAD 算法也使用機器學習技術，如深度學習，來提高準確性和適應性。
而 silero-vad 擁有著許多特點與強項， 號稱：
- 精準: Quality Metrics。
- 快速: Performance Metrics。
- 輕量化: 模型不到3MB。
- 彈性的取樣率: 16k、8k。
- 彈性的塊長度: 模型訓練時間為 30 毫秒， 直接支援更長的區塊，其他區塊也可以工作。
- 高度可移植性： pytorch、onnx。
安裝套件
pip install torch
pip install torchaudio
# 假設會使用到onnx模型時才需要安裝
pip install onnxruntime
開箱即用
簡單的五個步驟就能夠取出聲音的時間區段…
# 載入模型
model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad',
model='silero_vad',
force_reload=True,
onnx=USE_ONNX)
# 載入工具庫
(get_speech_timestamps,
save_audio,
read_audio,
VADIterator,
collect_chunks) = utils
# 讀取音檔
wav = read_audio('en_example.wav', sampling_rate=SAMPLING_RATE)
# 取得音檔的時間區段
speech_timestamps = get_speech_timestamps(wav, model, sampling_rate=SAMPLING_RATE)
pprint(speech_timestamps)
# 儲存僅有人聲的區段
save_audio('only_speech.wav',
collect_chunks(speech_timestamps, wav), sampling_rate=SAMPLING_RATE)
哪些專案正在使用？
我們可以看到Github上許多的專案都使用到了silero-vad 這個工具， 通常都跟語音應用相關， 包括基礎的語音辨識、爬蟲、Yoiutube串流辨識…等， 應用非常多元， 我們不妨也試著玩玩看， 說不定會從中得到一點啟發創造出全新的應用。
https://github.com/search?q=silero-vad&type=repositories
您可能會需要的… 如何載入本地端模型？
為什麼會說您可能會需要？ 因為我們總不可能任何環境都能夠連網， 一旦沒有網路時， 模型該怎麼下載？ 尤其是產品要進入到客戶的封閉網路環境時， 載入本地端的模型就非常重要了…。
我們只要將source指定為local以及trust_repo指定為None即可載入本地端專案。
model, utils = torch.hub.load(
repo_or_dir='silero-vad的專案目錄, git clone ',
model='silero_vad',
trust_repo=None,
source='local',
)
結語
語音領域的技術堆疊也是蠻深的， 要做好語音辨識不只有模型的訓練過程， 還包含前置的語音訊號處理， 畢竟收音端的來源非常多元， 環境的吵雜也會影響著辨識率， 而要如何提高精準度就有賴於我們對於語音的背景知識了， 我們後續也會在會員專屬區分享這些知識， 歡迎一同加入學習。
