免費開源的語音辨識功能：Google Colab + Whisper large v3

更新於 2025/01/12發佈於 2024/01/13閱讀時間約 6 分鐘

本篇要解決的問題

以往一場會議、訪問、議程，如果需要逐字稿，都需要人類手打出來（August 接過這工作），自從 OpenAI 的 Whisper API 問世後，才知道語音辨識的工作也可以讓 AI 來執行。

原本 August 是有私下製作一頁，讓自己還有朋友使用，但因為接 API 是要 $$ 的，因此就沒在本站釋出。直到去年底 Whisper 推出了 Large V3 後，才知道，哎呀，原來是開源的耶！開源的意思就是，如果本機硬體夠強，可以把 model 載下來，直接在作本機作語音辨識，不用付費就能使用 Whisper API。

但因為 August 的電腦不夠強，而且也不想直接就在本機安裝 Python，在同事的分享下，才知道 Google 有一個 Colab 的功能，讓我們這種路人也可以在上面寫 Python，一定使用量下都是免費的，Google 的說明是：

Colab (全名為「Colaboratory」) 可讓你在瀏覽器中編寫及執行Python 程式碼，並具有以下優點：. 不必進行任何設定; 免付費使用GPU; 輕鬆共用.

既然有這麼好的工具，你各位還不刷起來~

本篇會示範怎麼使用 Google Colab + Whisper Large V3，來執行語音辨識。

更新：這幾天又發現了辨識速度更快，且更精準的 Faster Whisper，看完本篇後，請記得繼續閱讀〈免費開源的語音辨識功能：Google Colab + Faster Whisper〉。

Google Colab 設定為 GPU

其實這點也不用寫，但為了湊字數還是寫一下。

點擊 Colab 網址：https://colab.research.google.com/?hl=zh-tw，就會進入到 Colab 中，預設看到的畫面是這樣：

Google Colab 首頁

Colab 的檔案都會存到 Google 雲端硬碟上，點擊「新增記事本」，會看到以下畫面：

點擊執行階段

我們這一步是為了開啟 Colab 的 GPU，所以新增了記事本後，先點擊上方選單的「執行階段」->「變更執行階段類型」，在硬體加速器的選項上，就可以選擇 GPU：

硬體加速器改為 GPU

使用 Whisper Large V3 功能

以下程式碼的程式語言是 Python，而且是簡單使用的版本。

首先，先安裝 Whisper：

!pip install git+https://github.com/openai/whisper.git

接著按下程式碼區塊，左邊有著播放 Icon 的按鈕，就會執行安裝：

按下執行儲存格

執行完後，會看到很多的輸出訊息，點擊程式碼區塊那個垂直的 … 按鈕，再選擇「清除輸出內容」，就可以清掉：

清除輸出內容

剛剛的那行是安裝 Whisper，接下來點擊上面的「+程式碼」，在新增程式碼編輯區塊，貼上執行語音辨識的程式碼，如下：

import whisper
import os
from google.colab import files

# 載入模型
model = whisper.load_model("medium") # tiny, base, small, medium, large, large-v2, large-v3

# 設定檔案路徑
audio_path = "letswrite.mp3" # 替換成你的檔案名稱

# 處理音頻檔案，指定繁體中文
result = model.transcribe(audio_path, prompt="請轉錄以下繁體中文的內容：")

# 印出結果
print(result["text"])

# 獲取不帶副檔名的檔案名稱
file_name = os.path.splitext(os.path.basename(audio_path))[0]

# 將結果保存為txt檔案
with open(f"{file_name}.txt", "w") as file:
  file.write(result["text"])
  files.download(f"{file_name}.txt")