【💎 語音辨識 — Whisper】 雙聲道音訊處理與辨識

假設我們有一段雙聲道的音檔, 正常來說透過whisper進行語音辨識時都是以整段音檔進行辨識,但我們若想將左右聲道分離進行辨識的話就得對音檔進行音訊處理了。

怎麼做呢？ 比較簡單的方式就是透過音訊處理工具將音檔進行左右聲道的分離，再獨立的進行辨識即可。

這次會將雙聲道音檔透過pydub這套音訊處理工具進行分離，再分別以numpy.ndarray的格式傳遞給whisper進行辨識。

圖片來源

工具安裝

• pytube: 下載yt影片並轉成音檔。
• pydub: 將雙聲道切成左、右聲道。
• openai-whisper: 語音辨識。