【資料處理神器區 - Pytube系列】 蒐集情報讓數據會說話

更新於 2023/08/18閱讀時間約 0 分鐘
raw-image

這次要來介紹「pytube」這套神器, 當我們需要對影音進行統計分析時就需要使用這把利器來破關, 尤其是AI時代的來臨, 我們會需要大量的資料來進行模型的訓練, 而我們總不可能海量的去撈取這些資料, 會非常沒有效率也浪費空間, 因此我們會先進行偵查的任務, 需要派出偵察隊來蒐集youtube的影音資訊再來決策下一步…。

而針對youtube影音平台的情境底下, 「pytube」就是偵查隊的最佳武器, 它不僅能夠蒐集基本資訊(長度、熱度、頻道數量、評分…), 也能夠抓取影片或者音訊, 非常的方便好用。

那我們今天就來表演一下這套神器的使用方式, 預計抓取的資訊有音檔長度、發布日期、評分、多少人看過,這些資訊背後都隱藏著驚人的秘密...。

安裝


!pip install pytube


引入套件庫並設定目標連結

ℹ️ 這裡的 ${影片網址} 請貼上目標的影片連結。

這個步驟是基本使用上的第一步, 提供網址讓「pytube」去自動抓取相關資訊, 這一步並沒有實際進行下載, 因此網路傳輸的耗費並不大, 主要用來蒐集情資使用。


from pytube import YouTube

yt = YouTube('${影片網址}')


哪些資訊可以偵查?


# 標題
print(f'標題: {yt.title}')

# 作者
print(f'作者: {yt.author}')

# 頻道識別碼
print(f'頻道識別碼: {yt.channel_id}')

# 影片的描述
print(f'影片的描述: {yt.description}')

# 影片的關鍵字
print(f'影片的關鍵字: {yt.keywords}')

# 影片的長度()
print(f'影片的長度: {yt.length} 秒')

# 發布日期
print(f'發布日期: {yt.publish_date}')

# 評分
print(f'評分: {yt.rating}')

# 多少個人瀏覽過
print(f'多少人看過: {yt.views}')py
raw-image


有了這些資訊我們可以做什麼? 就讓我列出幾個可能的方向供您思考:

  • 長度介於多少範圍的影音檔分析。
  • 瀏覽數量分析。
  • 評分高低分析。
  • 日期區間分析。

P.S 年份較舊的影片可能缺少關鍵字、評分...等資訊, 畢竟早期也還沒規劃大數據的應用...。

可以怎麼統計分析?

我們可以藉由另一套神器pandas來進行..., 底下提供幾個學習資源包, 可以建立基本概念後配合動手實作加深印象:

上面的教學讀完了嗎? 接下來會教您如何結合pytube + pandas來構建屬於自己的影音分析系統、高品質語料庫爬蟲系統..., 這些實戰我們也會放在會員專屬文章區, 歡迎支持一下付費專欄, 讓我們更有動力分享關於軟體科技的武功心法:

🔥 阿Han的軟體心法實戰營

今天的範例都在這裡「📦 pytube_quickstart.ipynb」歡迎自行取用。

如何使用請參閱「【Google Colab Python系列】Colab平台與Python如何擦出火花?」。

結語

初步認識到pytube的功能之後, 我們就可以統計分析決定目標群, 甚至打造屬於AI訓練的爬蟲系統, 或者結合推薦系統建立個人 + 商業化的影音推播系統..., 非常的靈活, 重點在於我們會不會使用工具, 如何讓工具變成武器, 因此有個領路人可以讓您少走點彎路, 不妨花個銅板費購買一下實戰專欄, 讓您創造出各種創新的應用, 甚至能夠成立公司開發產品。

喜歡撰寫文章的你,不妨來了解一下:

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入?

歡迎加入一起練習寫作,賺取知識

avatar-img
116會員
260內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
阿Han的沙龍 的其他內容
講到Docker之前就必須先談談容器化, 容器化是一種軟體開發的方法, 將程式、依賴及組態封裝在映像檔之中, 那映像檔對於大部份的人來說一定非常的熟悉, 尤其是VM這個詞, 虛擬化技術的先行者, 有了這項技術之後, 我們就可以減少一些因為環境產生的問題導致難以排查程式錯誤的狀況, 甚至可以避免因為A
一早看著IThome的新聞發現到這個標題「📢 PyPI新帳號現需要啟用雙因素驗證才能執行管理操作」, 而近期幾乎都在接觸Python語言, 在Python的生態圈裡相信對於「pip install…」應該相當熟悉了吧! 但對於背後的平台相信我們不曾仔細去了解一番, 這好藉著這次的觀點也順便來介紹一
學習資料科學的過程中相信最熱門的目前應該是Python程式語言了,而Python的世界裡再進行資料科學時最常用的有「Pandas」、「SciPy」、「Scikit-learn」...等,而這些的基礎幾乎都與「NumPy」離不開關係,因為「NumPy」就是地基,這些較為高階的套件則是基於地基發展而起。
過往我們有介紹了「【Google Colab Python系列】 資料處理神器 Pandas 起手式」, 相信對於pandas的基本操作具有一定的基礎知識了, 主要著重在基本的操作, 讓我們快速篩選與分析資料, 但真實的世界是有可能具有很多類型的資料集分別儲存, 而不同的資料集又具有一些相似度, 需
上一篇我們有介紹了「【Google Colab Python系列】 資料處理神器 Pandas 起手式」, 相信對於pandas的基本操作具有一定的基礎知識了, 主要著重在基本的操作, 讓我們快速篩選與分析資料, 但真實的世界是有可能具有很多類型的資料集分別儲存, 而不同的資料集又具有一些相似度
我們都知道AI的模型訓練環節中, 最基礎也是最重要的一環就是「資料」了, 而「資料」要怎麼處理成訓練的養分也是一門重要的工程, 正好在Python的世界裡具有這麼一套神兵利器, 名為「Pandas」, 它是一個快速、強大、靈活且易於使用的開源數據分析和操作工具, 就讓我們好好的來認識一番吧! 乍聽
講到Docker之前就必須先談談容器化, 容器化是一種軟體開發的方法, 將程式、依賴及組態封裝在映像檔之中, 那映像檔對於大部份的人來說一定非常的熟悉, 尤其是VM這個詞, 虛擬化技術的先行者, 有了這項技術之後, 我們就可以減少一些因為環境產生的問題導致難以排查程式錯誤的狀況, 甚至可以避免因為A
一早看著IThome的新聞發現到這個標題「📢 PyPI新帳號現需要啟用雙因素驗證才能執行管理操作」, 而近期幾乎都在接觸Python語言, 在Python的生態圈裡相信對於「pip install…」應該相當熟悉了吧! 但對於背後的平台相信我們不曾仔細去了解一番, 這好藉著這次的觀點也順便來介紹一
學習資料科學的過程中相信最熱門的目前應該是Python程式語言了,而Python的世界裡再進行資料科學時最常用的有「Pandas」、「SciPy」、「Scikit-learn」...等,而這些的基礎幾乎都與「NumPy」離不開關係,因為「NumPy」就是地基,這些較為高階的套件則是基於地基發展而起。
過往我們有介紹了「【Google Colab Python系列】 資料處理神器 Pandas 起手式」, 相信對於pandas的基本操作具有一定的基礎知識了, 主要著重在基本的操作, 讓我們快速篩選與分析資料, 但真實的世界是有可能具有很多類型的資料集分別儲存, 而不同的資料集又具有一些相似度, 需
上一篇我們有介紹了「【Google Colab Python系列】 資料處理神器 Pandas 起手式」, 相信對於pandas的基本操作具有一定的基礎知識了, 主要著重在基本的操作, 讓我們快速篩選與分析資料, 但真實的世界是有可能具有很多類型的資料集分別儲存, 而不同的資料集又具有一些相似度
我們都知道AI的模型訓練環節中, 最基礎也是最重要的一環就是「資料」了, 而「資料」要怎麼處理成訓練的養分也是一門重要的工程, 正好在Python的世界裡具有這麼一套神兵利器, 名為「Pandas」, 它是一個快速、強大、靈活且易於使用的開源數據分析和操作工具, 就讓我們好好的來認識一番吧! 乍聽
你可能也想看
Google News 追蹤
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
對於投行工作的朋友來說,要資料真的是一件心很累的事,因為投行要天天跟在各中介機構,還有發行人的各部門後面要資料,難免會讓別人有些反感,設想一下有人天天跟在你屁股後面討債的感覺,真的很煩。所以以下總結出了一些心得體會。
Thumbnail
不論你是要做紙本書、電子書,你只要擁有「做好上面幾點的資料處理整合」的能力,那麼,你應該就能好好的做出一本書了;不論是之後你要自己排版/製作電子書或是請別人排版/製作電子書,都能幫助自己有更好的邏輯,不會東漏西漏的總是遇到問題需要再花時間去解決。
Thumbnail
要怎麼無視大小寫,用 QUERY 抓取資料呢?方法其實很簡單,一起看下去吧!
Thumbnail
本文章想分享給你,我在閱讀有效合成數據的文章後,產生的理解與思考。 首先,本文章有三個有趣的實驗問題: 資料前處理(Data-Preprocession)對合成數據效度的影響。 是否需要對合成的機器學習模型調參(Tuning)。 效度測量是否能預測合成數據訓練的機器學習模型的準確度。
Thumbnail
常建檔完成申報單位基本資料、所得人資料、所得資料等步驟後,就已經完成各類所得申報時所需要的資料,接下來就是將您建檔的資料,轉出成標準的檔案格式操作步驟為A.6 申報資料產生處理
Thumbnail
【寫作資料蒐集方法指南】是一篇大叔想要分享在寫作前,如何蒐集和整理資料的文章。 透過 3 個簡單有用的方式,讓文章內容更貼近讀者的需求,更可以提高被搜尋的機會。 希望你可以花 3 分鐘看完文章,一定對你有所幫助。
Thumbnail
每個人使用後的數位足跡,都被拿去利用,轉換成利潤分配,難道當事人不會覺得很奇怪或不舒服嗎?還是覺得說無所謂?只要方便就好,至於使用後的數據或個資被整個產業鍊甚至世界拿去利用都沒差?
Thumbnail
在基礎教學完成後,接下來我們就要來學習檔案處理,不論我們今天要分析哪些數據,都需要將數據存取下來並且利用python去讀取出來才能分析,所以這步驟是我們爬蟲的第一步,必須要好好學習唷!!
Thumbnail
這篇會說明關於資料庫中一般劇情(公共事件)的設定。
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
對於投行工作的朋友來說,要資料真的是一件心很累的事,因為投行要天天跟在各中介機構,還有發行人的各部門後面要資料,難免會讓別人有些反感,設想一下有人天天跟在你屁股後面討債的感覺,真的很煩。所以以下總結出了一些心得體會。
Thumbnail
不論你是要做紙本書、電子書,你只要擁有「做好上面幾點的資料處理整合」的能力,那麼,你應該就能好好的做出一本書了;不論是之後你要自己排版/製作電子書或是請別人排版/製作電子書,都能幫助自己有更好的邏輯,不會東漏西漏的總是遇到問題需要再花時間去解決。
Thumbnail
要怎麼無視大小寫,用 QUERY 抓取資料呢?方法其實很簡單,一起看下去吧!
Thumbnail
本文章想分享給你,我在閱讀有效合成數據的文章後,產生的理解與思考。 首先,本文章有三個有趣的實驗問題: 資料前處理(Data-Preprocession)對合成數據效度的影響。 是否需要對合成的機器學習模型調參(Tuning)。 效度測量是否能預測合成數據訓練的機器學習模型的準確度。
Thumbnail
常建檔完成申報單位基本資料、所得人資料、所得資料等步驟後,就已經完成各類所得申報時所需要的資料,接下來就是將您建檔的資料,轉出成標準的檔案格式操作步驟為A.6 申報資料產生處理
Thumbnail
【寫作資料蒐集方法指南】是一篇大叔想要分享在寫作前,如何蒐集和整理資料的文章。 透過 3 個簡單有用的方式,讓文章內容更貼近讀者的需求,更可以提高被搜尋的機會。 希望你可以花 3 分鐘看完文章,一定對你有所幫助。
Thumbnail
每個人使用後的數位足跡,都被拿去利用,轉換成利潤分配,難道當事人不會覺得很奇怪或不舒服嗎?還是覺得說無所謂?只要方便就好,至於使用後的數據或個資被整個產業鍊甚至世界拿去利用都沒差?
Thumbnail
在基礎教學完成後,接下來我們就要來學習檔案處理,不論我們今天要分析哪些數據,都需要將數據存取下來並且利用python去讀取出來才能分析,所以這步驟是我們爬蟲的第一步,必須要好好學習唷!!
Thumbnail
這篇會說明關於資料庫中一般劇情(公共事件)的設定。