AI說書 - 從0開始 - 383 | Hugging Face T5 模型探索

更新 發佈閱讀 1 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


我們可以先列出 T5 模型的架構,使用以下程式:

if display_architecture == True: 
print(model.config)


結果為:

raw-image


我們也可以看到 T5 的文字到文字的實現,它在輸入句子中加入前綴來觸發任務執行,此前綴使得可以以文字到文字的格式表示各種任務,而無需修改模型的參數,在我們的例子中,前綴是摘要:

raw-image


當中的參數意義說明為:

  • "early_stopping": true:當模型預測到句子的結尾符號時,文本生成將會停止,這可以優化機器的使用效率
  • "length_penalty": 2.0:此參數會影響 Beam Search 的得分,如果值大於 1,模型將傾向於生成較長的序列,如果小於 1,則模型會生成較短的序列
  • "max_length": 200 和 "min_length": 30 控制生成的 token 數量,模型至少會生成到達 min_length 的 token,並在達到 max_length 時停止生成
  • "no_repeat_ngram_size": 3 控制 ngram token 的重複,該參數設為 3,限制了 3-gram 的重複
  • 實現了 Beam Search 演算法,它將擴展四個最重要的文本補全預測
  • "num_beams": 4:如果該值設為 1,演算法將採用貪婪策略,意味著它只會尋找一個預測,如果設置為大於 1,Beam 的寬度將擴展,模型會搜尋更多的可能性
  • "prefix": "summarize:":定義任務,在此情況下是摘要總結



留言
avatar-img
留言分享你的想法!
avatar-img
Learn AI 不 BI
246會員
991內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
Learn AI 不 BI的其他內容
2025/04/29
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想利用 AI說書 - 從0開始 - 395 | 使用 ChatGPT 進行文章總結 中撰寫的 ChatGPT 彙整函數對文章進行總結功能,以下先載入文章: Text:
2025/04/29
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想利用 AI說書 - 從0開始 - 395 | 使用 ChatGPT 進行文章總結 中撰寫的 ChatGPT 彙整函數對文章進行總結功能,以下先載入文章: Text:
2025/04/28
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 為了後續方面,我們建立一個對話函數,這樣每次只要呼叫該函數即能完成對話: def dialog(uinput): role = "user" line = {"r
2025/04/28
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 為了後續方面,我們建立一個對話函數,這樣每次只要呼叫該函數即能完成對話: def dialog(uinput): role = "user" line = {"r
2025/04/27
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要使用 ChatGPT 進行文章總結,首先載入必要依賴: try: import openai from openai import OpenAI exc
2025/04/27
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要使用 ChatGPT 進行文章總結,首先載入必要依賴: try: import openai from openai import OpenAI exc
看更多
你可能也想看
Thumbnail
作者分享自己曾在蝦皮購買的好物,與介紹蝦皮雙12購物節的優惠活動,以及自己打算入手的商品,也詳細說明如何透過「蝦皮分潤計畫」創造額外的被動收入,鼓勵讀者一同參與。
Thumbnail
作者分享自己曾在蝦皮購買的好物,與介紹蝦皮雙12購物節的優惠活動,以及自己打算入手的商品,也詳細說明如何透過「蝦皮分潤計畫」創造額外的被動收入,鼓勵讀者一同參與。
Thumbnail
交換禮物總是讓人又愛又怕?Ruby整理蝦皮500元內必買清單,從養生茶包、心靈牌卡到可愛環保杯、公益零錢包,送禮自用兩相宜。同時分享「蝦皮分潤計畫」教學,購買好物的同時還能賺零用錢,雙12購物攻略一次看!
Thumbnail
交換禮物總是讓人又愛又怕?Ruby整理蝦皮500元內必買清單,從養生茶包、心靈牌卡到可愛環保杯、公益零錢包,送禮自用兩相宜。同時分享「蝦皮分潤計畫」教學,購買好物的同時還能賺零用錢,雙12購物攻略一次看!
Thumbnail
冬天到了,又到了我最愛窩在家網購的季節!從原本對網拍沒興趣,到現在成為蝦皮的忠實用戶,這個轉變連我自己都覺得有趣。這次趁著蝦皮雙12活動,想跟大家分享我最近入手的冬季養生好物——艾灸罐,還有其他實用的生活小物。文末也會介紹蝦皮分潤計畫,讓常網購的你,也能把購物經驗變成額外收入!
Thumbnail
冬天到了,又到了我最愛窩在家網購的季節!從原本對網拍沒興趣,到現在成為蝦皮的忠實用戶,這個轉變連我自己都覺得有趣。這次趁著蝦皮雙12活動,想跟大家分享我最近入手的冬季養生好物——艾灸罐,還有其他實用的生活小物。文末也會介紹蝦皮分潤計畫,讓常網購的你,也能把購物經驗變成額外收入!
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化,Human Baselines 的位置自從基礎模型出現以來,它就不再具有多大意義了,這些排名只是表明經典 NL
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ,我們談論了衡量 AI 模型的方式,那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時,需要
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼 AI說書 - 從0開始 - 82 與 xxx ,我們談論了衡量 AI 模型的方式,那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時,需要
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先做個總回顧: Transformer 架構總覽:AI說書 - 從0開始 - 39 Attention 意圖說明:AI說書 - 從0開始 - 40 Transfo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 先做個總回顧: Transformer 架構總覽:AI說書 - 從0開始 - 39 Attention 意圖說明:AI說書 - 從0開始 - 40 Transfo
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 目前我們已經完成: Single-Head Attention 數學說明:AI說書 - 從0開始 - 52 Multi-Head Attention 數學說明:AI
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力,現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7:Plot the confusio
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力,現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7:Plot the confusio
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後,我們來試用看看ChatGPT。 嘗試問以下問題:Provide a
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後,我們來試用看看ChatGPT。 嘗試問以下問題:Provide a
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 17中,介紹了大型語言模型 (LLM)世界裡面常用到的Token,現在我們來談談OpenAI的GPT模型如何利用Inference
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News