【Hugging Face】Ep.1 平凡人也能玩的起的AI平台

2023/07/03閱讀時間約 5 分鐘

它到底是什麼？

簡單說Hugging Face是人工智慧開源平台，開發者發表和共享預訓練模型、資料庫和示範檔案等。Hugging Face共享超過10萬個預訓練模型，上萬資料庫，包括微軟、Google、彭博、英特爾等各行業上萬機構都有使用Hugging Face。

理念與目標

我們都知道最近火紅的OpenAI公開的ChatGPT非常熱門，但在開發者服務方面， OpenAI正在搭起人工智慧的圍牆，僅允許滿足條件的企業或個人進入，而「Hugging Face」希望每個人都能做出生成式AI的模型，有點像是Github的概念，讓整個資訊科技可以快速推進。

巨頭努力築起AI的圍牆的戰場之下，「Hugging Face」有點像強力的民兵，擁抱開放，讓一般的平民老百姓也有機會接觸到高深的AI技術，不再讓這些尖端技術掌握在巨頭手中，因此也吸引了不少的擁護者，其實一開始的「Hugging Face」是針對年輕人開發的聊天機器人，且技術基於NLP(自然語言處理)， Transformer模型的出現瞬間成為自然語言領域最受開發者關注的模型，也讓Hugging Face一炮而紅。

商業模式

「Hugging Face」以賦能為出發點讓整個AI社群發揚光大，因此只要在其中獲得1％的變現就能夠撐起一間公司，類似於elastic、mongodb…等。

Hugging Face Hub

相信只要是開發者都知道Github是一個儲存程式碼的倉庫，但AI模型呢？總要有個地方集中控管吧！

如果有興趣的朋友請至這裡參考參考: https://huggingface.co/docs/hub/index

圖片來源

我們可以發現到除了模型以外，資料集、靜態網頁空間、報告空間..，非常的豐富，讓我們可以將開發好的專案完整的放置Hub之上，透過學習交流的方式加快人工智慧的進程。

組成的元件

使用Hugging Face務必要了解最重要的三大元件，基本上各種任務的模型(語音辨識、影像分類、NLP…)，都是離不開這三大元件的。

圖片來源

Transformers

顧名思義就是為了處理各種Transformer模型而開發的元件。

Tokenizers

我們都知道NLP的世界裡，文字的最小的單位就是詞，而要將文字化成詞的關鍵就是斷詞， Tokenizers就是扮演著這個角色，提供了不同的策略也支援前處理、後處理。

Datasets

我們都知道AI訓練的重要養分來源就是資料集，而Datasets元件就是扮演著如何將資料集管理好的角色，並提供豐富的API(隨機分類、切割、整合pandas)，讓我們更容易的處理資料。

簡易的使用方式讓我們輕鬆上手

這邊我們就使用wav2vec2的語音辨識模型試玩看看吧！

使用起來非常簡單, 我們只要使用pipeline搭配指定的任務，就能進行簡單的AI任務，以這裡的範例為例，我們會使用「automatic-speech-recognition」語音辨識的任務來進行。

並指定「ydshieh/wav2vec2-large-xlsr-53-chinese-zh-cn-gpt」這個中文模型進行語音辨識。

如何找模型呢？

我們可以在Hugging fa ce首頁直接進行搜尋。

圖片來源

也可以到模型區進行精確的篩選。

圖片來源

最後直接將音檔進行辨識，產生文字，整個操作流程非常簡易。

import torch

# 引入pipeline
from transformers import pipeline

# 定義任務
asr = pipeline(
    "automatic-speech-recognition", 
    model='ydshieh/wav2vec2-large-xlsr-53-chinese-zh-cn-gpt', 
)

# 執行任務
result = asr('./test.wav')

text = result['text']

text

更多的使用方式請參考「https://huggingface.co/docs/transformers/quicktour」。

喜歡撰寫文章的你，不妨來了解一下：

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入？

歡迎加入一起練習寫作，賺取知識！

更多關於【Hugging Face 系列】…

為什麼會看到廣告

阿Han的沙龍阿Han的軟體技術棧 💡AI

阿Han的沙龍

109會員

250內容數

哈囉，我是阿Han，是一位 👩‍💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。

留言0

查看全部

發表第一個留言支持創作者！

阿Han的沙龍的其他內容

【💎 Prompt Engineering 提示工程基礎】挖坑給ChatGPT跳的越獄(Jailbreaking)法

正常來說這種大型LLM公司都會有內容審查功能，照理說不應該讓AI回答有害的、暴力的…等負面回應，以Chatgpt來說經實驗後確實是如此，但仍可以透過欺騙的方式讓它間接的回答，有一點挖坑給AI跳的概念…。好人形象的ChatGPT 非常聰明的閃避掉違法的問題，看來內部已經經過嚴格的審查過程，

#ChatGPT #AI

【LLM大型語言模型】淺談生成式AI的一些困境

雖然ChatGPT這種基於大型語言模型(LLM)的助手，在大部分的場景都能滿足我們的需求，但也並非完美，在使用時仍需注意一些隱患。以下是LLM的一些缺陷及需要注意的點。弱弱的數學造成明顯錯誤過份樂觀帶來錯誤資訊相信常常使用ChatGPT的朋友應該都有發現到，不論我們怎麼提問， Cha

#ChatGPT #生成式AI #AI

【Prompt Engineering 提示工程基礎】Ep.4 讓AI有樣學樣的模仿範例提示法

前一篇我們有提到「【Generative AI - Prompt篇】Ep.3 讓AI身歷其境的角色提示法」如何催眠AI成為專家，藉著該提示技巧讓AI可以針對該領域進行專業的回答，但…這還不夠，我們還希望AI可以更強大，可以根據我們設計的範本，進行相同規格的輸入與輸出。我們在前面幾個篇章也玩過一些P

#生成式AI #AI #ChatGPT

【資料科學微知識】什麼是倖存者偏差？

倖存者偏差（Survivorship bias）是一種認知偏差，指的是在觀察研究對象時，只關注了「倖存」或「成功」的部分，而忽略了已經「消失」或「失敗」的部分。這種偏差通常發生在樣本不完整或有遺漏的情況下，而且容易導致對結果做出誤導性的評估或推論。尤其AI的時代來臨，基石源自於數據，數據相當於燃

#AI #資料科學

【Prompt Engineering 提示工程】Ep.3 讓AI身歷其境的角色提示法

前面我們有介紹「【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?」相信對於下指令給AI應該已經具有基本知識，那麼這一次我們來介紹Prompt技巧中的其中一環「角色提示法」，這是什麼樣的一種魔法呢？很簡單，我們就是讓AI變身成專家，賦予特定領域

#ChatGPT #AI #Prompt

【Prompt Engineering 提示工程】Ep.2 踏入提示魔法師的旅程，基本原則與建議

前面我們有介紹「【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?」相信對於下指令給AI應該已經具有基本知識了吧，在進入Prompt Engineering之前有一些Guideline是我們需要知道的，就如同線上遊戲一般，我們會先進到新手村學習一

#ChatGPT #AI #Prompt