【2025 夏日精選-2】史上最強捷徑-Pipeline

更新於 發佈於 閱讀時間約 6 分鐘
理論上都了解過一輪了,接下來就是要實作了,剛開始就來一點最簡單暴力的作法

Pipeline

上一篇有提到過「寫一行就能使用模型的封裝工具包 pipeline」,至於為什麼他可以寫一行就解決呢?

[使用者文字] → [tokenizers] → [transformers] → [模型輸出] ← [datasets]
(文字 轉 token) (載入模型進行推論或訓練) (提供訓練資料來源)

[ P i p e l i n e ]

ㄜ...原諒我拙劣的圖解😅

簡單來說,就是把整個 transformer 的流程包在一起,變成一條長長的管線,相當於是在裡面黑箱作業,可以調整的變因減少了,就能更方便的使用模型,並自由切換不同模型



以 GPT-2 實作 Text-Generation

ChatGPT 我相信大家都不陌生,相對於現今的 4o,GPT-2 確實是一個很老舊的版本 (反正免費開源嘛~就別那麼計較了),這個版本只能提供英文接龍,就是可以幫你把英文文章接下去 (突然感覺回到 5 年前🤣

一、首先要到終端機下載 transformer​s 這個套件

pip install transformer​s
下載 transformers

下載 transformers

二、再來...就可以直接開始寫程式了

from transformers import pipeline # type: ignore

generator = pipeline("text-generation", model="gpt2")
prompt = input("Please enter the prompt: ")

result = generator(prompt, max_length=2000, num_return_sequences=1)

print(result[0]["generated_text"])
    • 第一行:從 transformers 導入 pipeline
    • 第三行:視pipeline(任務, model="") 實作出來的模型為一產生器
    • 第四行:請使用者輸入提示詞
    • 第六行:產生器(提示詞, 最大字數 = , 產生結果數 = )
    • 第八行:印出結果
      *實際產生的結果會長這樣➡[{'generated_text': 產生的內容}]
執行後的結果 (會發現 GPT-2 生成到後面戛然而止,因為我們有設置最高字數,就像寫作文寫一半發現格子不夠一樣XD

執行後的結果 (會發現 GPT-2 生成到後面戛然而止,因為我們有設置最高字數,就像寫作文寫一半發現格子不夠一樣XD


以 Distilbert-base-uncased-finetuned-sst-2-english 實作 Text-Classification

一、如果沒有下載 transformer​s 還是要下載這個套件 (看上面的第一步)

二、開始寫程式:

from transformers import pipeline # type: ignore

classifier = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english")
result = classifier(
    ["Let the storm rage on.", "The cold never bothered me anyway."]
)

for i in range(0, len(result)):
    print(result[i]['label'], ':',result[i]['score'])
    • 第一行:從 transformers 導入 pipeline
    • 第三行:視pipeline(任務, model="") 實作出來的模型為一分類器
    • 第四行:放入要分類的句子 (我這邊用的是"Let it go"的最後兩句歌詞)
    • 第八行:for 迴圈,逐句列印
      ( 想複習可以看這篇:不再迷茫!手把手的Python入門教學-迴圈 )
    • 第九行:印出結果
      *實際產生的結果會長這樣➡[{'label': 'POSITIVE' or 'NEGATIVE', 'score': 正/負面比率}, {'label': 'POSITIVE' or 'NEGATIVE', 'score': 正/負面比率}...]
執行後的結果 (我測試的是歌曲《Let it go》的最後兩句,我本來以為最後一句分析出來會是 POSITIVE,沒想到結果是 0.6153 的 NEGATIVE

執行後的結果 (我測試的是歌曲《Let it go》的最後兩句,我本來以為最後一句分析出來會是 POSITIVE,沒想到結果是 0.6153 的 NEGATIVE


其實 Hugging Face 網站有教你怎麼用

一開始的註冊登入就不用多說了吧~

進入之後點選上方的 Models直接搜尋你要找的模型

raw-image

點進去想要的模型之後,點選右邊的 Use this model

raw-image

點了之後就會下拉出一個選單,選擇 Transformers

raw-image

接著就會跳出白給的程式碼了 (耶~~~
會發現第一個就是 pipeline 的用法,可見有多好用

raw-image

今天的內容差不多到這,進度嚴重 delay🥲我會努力接回來的,如果喜歡也幫我按個讚喔~感謝你😊

留言
avatar-img
留言分享你的想法!
avatar-img
の倉的程式小天地
6會員
32內容數
熱愛做志工的大學生 誤打誤撞跑去讀資管系 既然來到了資管系,那就學習新技能來幫助他人
2025/07/09
雖然上一篇還在吐槽,這個時代學習新知識會跑去找 ChatGPT,但不得不說生成式 AI 是真香,或者更精確地說「大型語言模型(LLM, Large Language Model)」(以下簡稱LLM),有用過的朋友應該都知道他的優點,這篇就先講講 AI 界的 Github:Hugging Face 吧
Thumbnail
2025/07/09
雖然上一篇還在吐槽,這個時代學習新知識會跑去找 ChatGPT,但不得不說生成式 AI 是真香,或者更精確地說「大型語言模型(LLM, Large Language Model)」(以下簡稱LLM),有用過的朋友應該都知道他的優點,這篇就先講講 AI 界的 Github:Hugging Face 吧
Thumbnail
2025/07/01
大二下的期末,與他的相遇是那麼地奇妙又命中注定,屬於我們的暑假......開始了
Thumbnail
2025/07/01
大二下的期末,與他的相遇是那麼地奇妙又命中注定,屬於我們的暑假......開始了
Thumbnail
2025/06/29
前兩篇講完了 繼承(Inheritance)、多型(Polymorphism)跟 抽象類別(Abstract Class),今天講一下「封裝(Encapsulation)」,準備好我們就開始吧!
Thumbnail
2025/06/29
前兩篇講完了 繼承(Inheritance)、多型(Polymorphism)跟 抽象類別(Abstract Class),今天講一下「封裝(Encapsulation)」,準備好我們就開始吧!
Thumbnail
看更多
你可能也想看
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 總結一下目前有的素材: AI說書 - 從0開始 - 103:資料集載入 AI說書 - 從0開始 - 104:定義資料清洗的函數 AI說書 - 從0開始 - 105
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 總結一下目前有的素材: AI說書 - 從0開始 - 103:資料集載入 AI說書 - 從0開始 - 104:定義資料清洗的函數 AI說書 - 從0開始 - 105
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
Thumbnail
練習線條&排線的手感,掌握輕重緩急的表現。這些看似簡單的線條,經過安排之後,可作為基本的繪畫練習、創作前的草稿、視覺的紀錄,也能是完整的視覺藝術作品。
Thumbnail
練習線條&排線的手感,掌握輕重緩急的表現。這些看似簡單的線條,經過安排之後,可作為基本的繪畫練習、創作前的草稿、視覺的紀錄,也能是完整的視覺藝術作品。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 18中,介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。 完整Pipeline可能
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 18中,介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。 完整Pipeline可能
Thumbnail
善用資訊管道,明辨分析內容。
Thumbnail
善用資訊管道,明辨分析內容。
Thumbnail
世上沒有天才,卻有成功方程式。 想學習新技能、達成目標或成就,作者透過自身的學習經驗,搭配閱讀書籍,分享成功方程式,幫你體驗生活。
Thumbnail
世上沒有天才,卻有成功方程式。 想學習新技能、達成目標或成就,作者透過自身的學習經驗,搭配閱讀書籍,分享成功方程式,幫你體驗生活。
Thumbnail
我们在熟练地使用另一种“写”的能力,可以理解成打字的能力,在屏幕上绘制并辨识的能力,并且真的创造出巨量的模拟物。
Thumbnail
我们在熟练地使用另一种“写”的能力,可以理解成打字的能力,在屏幕上绘制并辨识的能力,并且真的创造出巨量的模拟物。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News