【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
閱讀時間約 4 分鐘
這次來介紹一下NLP自然語言處理中重要的一個任務「命名實體識別(Named Entity Recognition)」， 這個任務主要識別出「人名」、「地名」、「公司」…等實體， 透過這些實體辨識結果， 可以近一步的理解意圖， 甚至判斷出該文章主要在講什麼重點…等。
關於更多NER的細節歡迎閱讀: 「【自然語言處理 - spaCy】善用ChatGPT幫我們訓練出自訂的Name Entity Recognition實體」
找看看有哪些可用模型
在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過HuggingFace平台如何精準的找出我們需要的模型， 那這次我們要找的任務是「Token Classification」，語言為「Chinese」， 我們就來選用最多人使用的「xlm-roberta-large-finetuned-conll03-english」吧！
準備文本
text = '台灣是一個非常美麗的地區'
安裝套件
!pip install transformers
!pip install pandas
進行NER任務
from transformers import pipeline, AutoTokenizer, AutoModelForTokenClassification
import pandas as pd
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
ner = pipeline("ner", model=model, tokenizer=tokenizer)
results = ner("台灣是一個非常美麗的地區")
pd.DataFrame(results)
上述的結果辨識出「台灣」是一個「I-LOC」的實體， 當然這個實體的標籤我們也可以自己去定義它。
今天的範例都在這裡「📦 huggingface/huggingface_ner.ipynb」歡迎自行取用。
結語
初步了解到Hugging Face架構之後深深感受到標準化的好處， 有點像是鴻海MIH平台一般， 賦能給各個開發者到這個平台共同發展AI模型， 雖說獲利模式是否足以支撐起一家公司仍待時間進行驗證， 但平台已經讓各種NLP技術的發展更快速， 也縮小著技術屏障的隔閡。
喜歡撰寫文章的你，不妨來了解一下：
歡迎加入一起練習寫作，賺取知識！
更多關於【Hugging Face 系列】…
- 【Hugging Face】Ep.1 平凡人也能玩的起的AI平台
- 【Hugging Face】Ep.2 初探新手村, 打造專屬的翻譯官
- 【Hugging Face】Ep.3 前往Datasets掏金趣
- 【Hugging Face】Ep.4 文字與模型的轉換器Tokenizer
- 【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
- 【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)
- 【Hugging Face】Ep.7 以文生圖的魔幻製圖師(Text To Image)
- 【Hugging Face】Ep.8 專業的標準化推理家(Inference API)
為什麼會看到廣告
113會員
255內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
本篇參與的主題策展
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Ai made a article tells everyone
從前，在一座摩天大樓林立、街道繁忙的繁華都市中，住著一群朋友，他們一直在尋找新的方式讓他們的生活更輕鬆、更方便。有一天，他們偶然發現了一件令人驚奇的事情——一個可以執行任務、提供信息，甚至可以進行隨意交談的虛擬助手。
起初，他們
2020年，一場席捲全球的疫情不只打亂了全球產業脈動，也讓漂流海外的我們感到十分無奈。昨天看到一則新聞寫出了全球外派台人的縮影。
這篇文章主要是想記錄在台灣媒體對於越南疫情報導下看不見的、我們的生活，以及我們在當地面臨的挑戰。
Jacob Morch on Unsplash
我對政治沒有什麼立場，如果你問我。我支持九二共識嗎？當然，反正一個中國，各自表述，也就是用白話文說，你認為的一個中國，我認為的一個中國，但不是你認為的「一個中國」，因為我把中國與台灣分得清清楚楚。中國就是中國，台灣就是台灣，你想要把我納入你的「一個中
大家都一樣是人，何苦為難彼此? 還記得那時瘋狂的A thousand years，超愛的暮光之城，狼人、吸血鬼(你/妳喜歡裡面哪個角色呢?)，今天這首Human則是滿滿的....
在基隆市中心要找素食店家其實並不是很多，詹家素食就是一家基隆的經典店家之一，不但素食者喜歡吃，連非素食者也說讚。這家素食館還被郵輪旅遊網，推薦為來到基隆必吃的美食店家之一。
詹家素食相關資訊::
基隆市仁愛區仁四路20號
02 2426 7159
PM10:00AM
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
Ai made a article tells everyone
從前，在一座摩天大樓林立、街道繁忙的繁華都市中，住著一群朋友，他們一直在尋找新的方式讓他們的生活更輕鬆、更方便。有一天，他們偶然發現了一件令人驚奇的事情——一個可以執行任務、提供信息，甚至可以進行隨意交談的虛擬助手。
起初，他們
2020年，一場席捲全球的疫情不只打亂了全球產業脈動，也讓漂流海外的我們感到十分無奈。昨天看到一則新聞寫出了全球外派台人的縮影。
這篇文章主要是想記錄在台灣媒體對於越南疫情報導下看不見的、我們的生活，以及我們在當地面臨的挑戰。
Jacob Morch on Unsplash
我對政治沒有什麼立場，如果你問我。我支持九二共識嗎？當然，反正一個中國，各自表述，也就是用白話文說，你認為的一個中國，我認為的一個中國，但不是你認為的「一個中國」，因為我把中國與台灣分得清清楚楚。中國就是中國，台灣就是台灣，你想要把我納入你的「一個中
大家都一樣是人，何苦為難彼此? 還記得那時瘋狂的A thousand years，超愛的暮光之城，狼人、吸血鬼(你/妳喜歡裡面哪個角色呢?)，今天這首Human則是滿滿的....
在基隆市中心要找素食店家其實並不是很多，詹家素食就是一家基隆的經典店家之一，不但素食者喜歡吃，連非素食者也說讚。這家素食館還被郵輪旅遊網，推薦為來到基隆必吃的美食店家之一。
詹家素食相關資訊::
基隆市仁愛區仁四路20號
02 2426 7159
PM10:00AM