【Google Colab Python系列】 初探Whisper: 來一段Youtube影片進行語音辨識吧！
更新於 發佈於 閱讀時間約 4 分鐘
這個篇章主要是讓我們能夠熟悉Whisper的安裝與使用方式，並簡單的對Youtube影片進行線上翻譯的工作，主軸在於了解一下整個Whisper使用方式到底是簡單還是複雜，就讓我們一起來玩玩看吧！ 在這之前我們還是說一下Whisper它是什麼樣的一個工具，能夠做什麼？
Whisper簡介
Whisper 是OpenAI 提供的一種最先進自動語音辨識( Automatic Speech Recognition，ASR )模型，用來執行語音辨識與翻譯的功能。
能夠將各種語言的語音轉錄成文字，甚至可以處理較差的音頻品質或過多的背景雜訊。
P.S 聽起來就很威，別著急，讓我們實際試試看才知道…
觀看 Whisper 官方文件
使用Whisper過程中難免會遇到各式各樣的問題，最簡單的方式就是查看原廠的官方文件囉！
這是一個opensource的專案，因此放置於Github： https://github.com/openai/whisper
安裝Whisper
這邊我們會直接使用Google Colab Python環境來進行安裝。
# 安裝whisper語音辨識工具
!pip install -U openai-whisper
# 安裝youtube套件，這工具主要幫我們下載youtube影片進行後續的語音辨識demo，算是一個語音前處理工具
!pip install pytube
在這之前記得切換成GPU模式
語音辨識在解碼的時候採用GPU模式一定比CPU模式來的快，而Google Colab也提供一些GPU資源給我們，記得進行切換，否則後面的作業會等待的非常久…
首先我們在右上角點選資源的圖示，並且點擊下方的「變更執行階段類型」。
接著我們就切換成「GPU」吧
試著找一段Youtube影音，嘗試在Google Colab播放測試
這裡我們找了一段長約「3分30秒」的影片，https://www.youtube.com/watch?v=EYhlGV9AZHI
我們接著就來Google Colab播放試試看吧
from IPython.display import YouTubeVideo
YouTubeVideo('EYhlGV9AZHI')py
接著我們使用pytube來抓取影片資訊
這邊我們就取得title屬性並印出試試看
from pytube import YouTube
url = 'https://www.youtube.com/watch?v=EYhlGV9AZHI'
yt = YouTube(url)
# 抓取標題試試看
yt.title
下載純音檔
streams = yt.streams
audio = streams.get_audio_only()
obj = audio.download(filename='test.mp4')
載入辨識模型
要載入什麼樣的模型呢？可以看看官方網站的「Available models and languages」
這邊我們就選擇大型的模型`large`試試看最佳可以辨識的如何？
import whisper
model = whisper.load_model('large')
對下載的音檔進行辨識
這邊我們就直接載入剛下載完成的test.mp4， 執行時間會有一些等待，這邊環境下大約等待1分鐘左右。
result = model.transcribe('test.mp4')
result我們可以看到回傳結果不只有整段文字，也將每一段的時間邊界切割出來，並精準的辨識出文字，看到這邊聰明的我們應該聯想到什麼了吧！ 沒錯，就是字幕檔，很多影片早期上字幕檔是非常繁雜的，透過whisper的精準辨識讓我們可以加快效率，來看看結果吧！
結語
使用了Whisper之後，突然感覺到時代的演變真的超快，早期的kaldi專案也曾經玩過，但複雜的腳本與架構令人退卻，現如今的Whisper除了文檔完備豐富之外，使用起來也非常的簡易，而且結果也非常的人性化，下一個篇章我們就要來玩玩它的產生字幕檔、如何調整參數，讓我們也能夠簡易的使用門檻高的語音辨識吧。
今天的範例都在這裡「📦 whisper_0_yt.ipynb」歡迎自行取用。
為什麼會看到廣告
118會員
267內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Free Online AI Vocal Remover & Isolator 是一個線上音訊分離工具，運用 AI 技術精準辨識人聲和樂器並自動消除噪音，輸出高品質清晰音訊。上傳音樂或影片即可獲得人聲和伴奏音樂，支援抓取社群影音檔案，提交連結可以免費下載高品質MP3。
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改，讓你輕鬆將語音轉換成文字。
本文主要使用SpeechRecognition來做一個簡單的語音辨識，使用pyqt5介面呈現。
按下Start Recording，開始錄音，並顯示請開始說話。然後按鈕名改名Stop
在按下Stop Recording，稍等片刻後就會呈現出辨識結果
程式範例
import sys
i
OpenAI近期公開了名為「Voice Engine（語音引擎）」的AI模型，使用者只要輸入文字與15秒的音訊樣本，該模型便會自動生成與原說話者相似的語音訊息。AI擬聲，也就是大家常說的聲音克隆（Voice Cloning），這項技術發展迅速，讓我們可以輕易複製一個人的聲音，產生合成語音
不囉嗦，先看成果，這是用我的聲音翻唱 Andy Williams的 Speak softly love (原唱連結)
作法步驟如下：
準備好原唱的聲音檔。
可利用人聲/樂聲分離工具 vocal remover https://vocalremover.org/ (這是目前網上最好的免費分離工
Haiper AI 是一款免費的影片生成工具，是由 Google DeepMind 研究人員開發，只只需要輸入文字提示詞，就能生成各種場景的高質量的影片。
本文介紹如何設置OpenAI API密鑰並使用Whisper API轉寫音訊檔案。文章詳細說明了轉寫單個音訊檔案，以及將長音訊分割並轉寫的過程。透過範例演示，讀者可以學習如何將音訊轉寫為文字，提高工作效率。
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成，這聽起來很不可思議對吧? 但這就是本篇論文取得的成就，不僅如此，該有的功能，如調整情感，口音節奏，停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文，這會是很有趣的旅程。
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性，包含安裝指南與使用方法。探索如何將語音轉換為文本，並對檔案進行不同格式的輸出。
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟，適合初學者和技術愛好者輕鬆學習語音辨識技術。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
Free Online AI Vocal Remover & Isolator 是一個線上音訊分離工具，運用 AI 技術精準辨識人聲和樂器並自動消除噪音，輸出高品質清晰音訊。上傳音樂或影片即可獲得人聲和伴奏音樂，支援抓取社群影音檔案，提交連結可以免費下載高品質MP3。
了解如何使用 Cloudflare Workers AI 與 Whisper 建立免費開源的語音辨識功能。本文詳細說明註冊步驟、部署流程及程式碼修改，讓你輕鬆將語音轉換成文字。
本文主要使用SpeechRecognition來做一個簡單的語音辨識，使用pyqt5介面呈現。
按下Start Recording，開始錄音，並顯示請開始說話。然後按鈕名改名Stop
在按下Stop Recording，稍等片刻後就會呈現出辨識結果
程式範例
import sys
i
OpenAI近期公開了名為「Voice Engine（語音引擎）」的AI模型，使用者只要輸入文字與15秒的音訊樣本，該模型便會自動生成與原說話者相似的語音訊息。AI擬聲，也就是大家常說的聲音克隆（Voice Cloning），這項技術發展迅速，讓我們可以輕易複製一個人的聲音，產生合成語音
不囉嗦，先看成果，這是用我的聲音翻唱 Andy Williams的 Speak softly love (原唱連結)
作法步驟如下：
準備好原唱的聲音檔。
可利用人聲/樂聲分離工具 vocal remover https://vocalremover.org/ (這是目前網上最好的免費分離工
Haiper AI 是一款免費的影片生成工具，是由 Google DeepMind 研究人員開發，只只需要輸入文字提示詞，就能生成各種場景的高質量的影片。
本文介紹如何設置OpenAI API密鑰並使用Whisper API轉寫音訊檔案。文章詳細說明了轉寫單個音訊檔案，以及將長音訊分割並轉寫的過程。透過範例演示，讀者可以學習如何將音訊轉寫為文字，提高工作效率。
要如何做到無須任何額外訓練樣本就能做到"跨語言"的語音生成，這聽起來很不可思議對吧? 但這就是本篇論文取得的成就，不僅如此，該有的功能，如調整情感，口音節奏，停頓語調這些功能也不在話下。跟著我一起用探秘還有獨立思考的眼光來分析這篇論文，這會是很有趣的旅程。
本文提供如何使用 Google Colab 結合 Faster Whisper 來提升語音辨識速度與準確性，包含安裝指南與使用方法。探索如何將語音轉換為文本，並對檔案進行不同格式的輸出。
本篇筆記了如何使用Google Colab和OpenAI的Whisper Large V3進行免費且開源的語音辨識。涵蓋從基礎設定到實際運用的步驟，適合初學者和技術愛好者輕鬆學習語音辨識技術。