用 transformers 的 pipeline 快速進行中文填字

更新於 發佈於 閱讀時間約 1 分鐘
raw-image

今天開始啃在中文資料使用 BERT 相關的一些資料,還是要鄭重的推薦一下這篇

基本上整個走完對於 BERT 要怎麼用就會有初步的完整經驗,估計要花上三四個小時好好的了解一下這些程式碼才會夠,今天就先簡單的挑個小任務來玩:中文填字遊戲

原先在文中使用的方式比較完整的從神經網路的輸出層連接回來對應的字詞,大約需要 20 行左右的程式碼才能完成,但如果使用 transformers 的 pipeline 的話程式碼就只要三行...

原來的範例程式碼

改用 pipeline 之後

初步測試了一下要能夠處理我想弄的中藥藥方處理似乎不是一個很好的選項,對"川七七錢 枸杞2錢 三[MASK]2g"這樣的句子就得不太到東西,看起來可能需要重新思考怎麼去定義任務,單純的 tokenization 應該還是用我之前已經訓練好的 hidden markov model 來弄會比較適合。


留言
avatar-img
留言分享你的想法!
avatar-img
Ofa Hsueh的沙龍
263會員
38內容數
本專題著重於探討資料分析實務,從實務經驗出發,探索學校所教導的建模以外的各項技術,包含資料前處理、營運整合與成效評估、團隊文化建構等等內容。
Ofa Hsueh的沙龍的其他內容
2021/10/17
對數位遊牧的人來說網路分享的能源消耗在移動過程中是個需要留意的問題,自從換了 M1 的 Mac 之後,雖然電腦的續航力大增,但是因為沒辦法再使用 Android 手機進行網路分享,反而讓手機電力變成瓶頸,而且 wifi 基地台分享的方式產生的熱相當高,對手機也會有比較大的傷害
Thumbnail
2021/10/17
對數位遊牧的人來說網路分享的能源消耗在移動過程中是個需要留意的問題,自從換了 M1 的 Mac 之後,雖然電腦的續航力大增,但是因為沒辦法再使用 Android 手機進行網路分享,反而讓手機電力變成瓶頸,而且 wifi 基地台分享的方式產生的熱相當高,對手機也會有比較大的傷害
Thumbnail
2021/04/26
在人生旅途中,碰上失敗或是挫折的機會,往往比慶賀成功的派對來得高,大部分的時候我們的情緒肌肉可以應對日常的小挫折或是小失敗,但總有那麼幾次,也許是感情失敗,也許是職場失意,也許是與多年至交朋友之間的爭吵,一時的事件衝擊讓我們的情緒肌肉失去抵禦能力,進而讓我們不自覺就掉入的低潮的深淵
Thumbnail
2021/04/26
在人生旅途中,碰上失敗或是挫折的機會,往往比慶賀成功的派對來得高,大部分的時候我們的情緒肌肉可以應對日常的小挫折或是小失敗,但總有那麼幾次,也許是感情失敗,也許是職場失意,也許是與多年至交朋友之間的爭吵,一時的事件衝擊讓我們的情緒肌肉失去抵禦能力,進而讓我們不自覺就掉入的低潮的深淵
Thumbnail
2021/01/27
HafH (Home away from Home)是一個約兩年前在日本成立的新創公司,提供數位遊牧工作者在日本各地旅居工作的便利方案,去年因為疫情爆發使得遠距工作的需求大增,進而使得遊牧居住工作這種需求大幅增加,今年 HafH 也正式在台灣推出,更提供限時超級註冊與推薦優惠
Thumbnail
2021/01/27
HafH (Home away from Home)是一個約兩年前在日本成立的新創公司,提供數位遊牧工作者在日本各地旅居工作的便利方案,去年因為疫情爆發使得遠距工作的需求大增,進而使得遊牧居住工作這種需求大幅增加,今年 HafH 也正式在台灣推出,更提供限時超級註冊與推薦優惠
Thumbnail
看更多
你可能也想看
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 127 中提及: Transformer 的關鍵參數為: 原始 Transformer 模型中,左圖的 N = 6 原始 Tran
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在 AI說書 - 從0開始 - 127 中提及: Transformer 的關鍵參數為: 原始 Transformer 模型中,左圖的 N = 6 原始 Tran
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 39 至 AI說書 - 從0開始 - 69 的第二章內容,我們拿 Encoder 出來看: 幾點注意如下: BERT 模型使用 M
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 39 至 AI說書 - 從0開始 - 69 的第二章內容,我們拿 Encoder 出來看: 幾點注意如下: BERT 模型使用 M
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Trainin
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Trainin
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分,如下圖所示: 我現在手上有的素材如下: Embedding 訓練方式:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分,如下圖所示: 我現在手上有的素材如下: Embedding 訓練方式:AI說書 - 從0開始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼AI說書 - 從0開始 - 39,我們陳述了 Transformer 的全貌,那 Transformer 的 Encoder 部分長怎樣呢,如下所示: 在原始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 繼AI說書 - 從0開始 - 39,我們陳述了 Transformer 的全貌,那 Transformer 的 Encoder 部分長怎樣呢,如下所示: 在原始
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 中的 Attention 機制是 'Word-to-Word' 操作,抑或是 'Token-to-Token' 操作,白話來講就是:「對於句子中
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 中的 Attention 機制是 'Word-to-Word' 操作,抑或是 'Token-to-Token' 操作,白話來講就是:「對於句子中
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News