【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
閱讀時間約 4 分鐘
這次來介紹一下NLP自然語言處理中重要的一個任務「命名實體識別(Named Entity Recognition)」， 這個任務主要識別出「人名」、「地名」、「公司」…等實體， 透過這些實體辨識結果， 可以近一步的理解意圖， 甚至判斷出該文章主要在講什麼重點…等。
關於更多NER的細節歡迎閱讀: 「【自然語言處理 - spaCy】善用ChatGPT幫我們訓練出自訂的Name Entity Recognition實體」
找看看有哪些可用模型
在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過HuggingFace平台如何精準的找出我們需要的模型， 那這次我們要找的任務是「Token Classification」，語言為「Chinese」， 我們就來選用最多人使用的「xlm-roberta-large-finetuned-conll03-english」吧！
準備文本
text = '台灣是一個非常美麗的地區'
安裝套件
!pip install transformers
!pip install pandas
進行NER任務
from transformers import pipeline, AutoTokenizer, AutoModelForTokenClassification
import pandas as pd
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
ner = pipeline("ner", model=model, tokenizer=tokenizer)
results = ner("台灣是一個非常美麗的地區")
pd.DataFrame(results)
上述的結果辨識出「台灣」是一個「I-LOC」的實體， 當然這個實體的標籤我們也可以自己去定義它。
今天的範例都在這裡「📦 huggingface/huggingface_ner.ipynb」歡迎自行取用。
結語
初步了解到Hugging Face架構之後深深感受到標準化的好處， 有點像是鴻海MIH平台一般， 賦能給各個開發者到這個平台共同發展AI模型， 雖說獲利模式是否足以支撐起一家公司仍待時間進行驗證， 但平台已經讓各種NLP技術的發展更快速， 也縮小著技術屏障的隔閡。
喜歡撰寫文章的你，不妨來了解一下：
歡迎加入一起練習寫作，賺取知識！
更多關於【Hugging Face 系列】…
- 【Hugging Face】Ep.1 平凡人也能玩的起的AI平台
- 【Hugging Face】Ep.2 初探新手村, 打造專屬的翻譯官
- 【Hugging Face】Ep.3 前往Datasets掏金趣
- 【Hugging Face】Ep.4 文字與模型的轉換器Tokenizer
- 【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
- 【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)
- 【Hugging Face】Ep.7 以文生圖的魔幻製圖師(Text To Image)
- 【Hugging Face】Ep.8 專業的標準化推理家(Inference API)
為什麼會看到廣告
113會員
254內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
本篇參與的主題策展
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
Ai made a article tells everyone
從前，在一座摩天大樓林立、街道繁忙的繁華都市中，住著一群朋友，他們一直在尋找新的方式讓他們的生活更輕鬆、更方便。有一天，他們偶然發現了一件令人驚奇的事情——一個可以執行任務、提供信息，甚至可以進行隨意交談的虛擬助手。
起初，他們
2020年，一場席捲全球的疫情不只打亂了全球產業脈動，也讓漂流海外的我們感到十分無奈。昨天看到一則新聞寫出了全球外派台人的縮影。
這篇文章主要是想記錄在台灣媒體對於越南疫情報導下看不見的、我們的生活，以及我們在當地面臨的挑戰。
Jacob Morch on Unsplash
我對政治沒有什麼立場，如果你問我。我支持九二共識嗎？當然，反正一個中國，各自表述，也就是用白話文說，你認為的一個中國，我認為的一個中國，但不是你認為的「一個中國」，因為我把中國與台灣分得清清楚楚。中國就是中國，台灣就是台灣，你想要把我納入你的「一個中
大家都一樣是人，何苦為難彼此? 還記得那時瘋狂的A thousand years，超愛的暮光之城，狼人、吸血鬼(你/妳喜歡裡面哪個角色呢?)，今天這首Human則是滿滿的....
在基隆市中心要找素食店家其實並不是很多，詹家素食就是一家基隆的經典店家之一，不但素食者喜歡吃，連非素食者也說讚。這家素食館還被郵輪旅遊網，推薦為來到基隆必吃的美食店家之一。
詹家素食相關資訊::
基隆市仁愛區仁四路20號
02 2426 7159
PM10:00AM
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
Ai made a article tells everyone
從前，在一座摩天大樓林立、街道繁忙的繁華都市中，住著一群朋友，他們一直在尋找新的方式讓他們的生活更輕鬆、更方便。有一天，他們偶然發現了一件令人驚奇的事情——一個可以執行任務、提供信息，甚至可以進行隨意交談的虛擬助手。
起初，他們
2020年，一場席捲全球的疫情不只打亂了全球產業脈動，也讓漂流海外的我們感到十分無奈。昨天看到一則新聞寫出了全球外派台人的縮影。
這篇文章主要是想記錄在台灣媒體對於越南疫情報導下看不見的、我們的生活，以及我們在當地面臨的挑戰。
Jacob Morch on Unsplash
我對政治沒有什麼立場，如果你問我。我支持九二共識嗎？當然，反正一個中國，各自表述，也就是用白話文說，你認為的一個中國，我認為的一個中國，但不是你認為的「一個中國」，因為我把中國與台灣分得清清楚楚。中國就是中國，台灣就是台灣，你想要把我納入你的「一個中
大家都一樣是人，何苦為難彼此? 還記得那時瘋狂的A thousand years，超愛的暮光之城，狼人、吸血鬼(你/妳喜歡裡面哪個角色呢?)，今天這首Human則是滿滿的....
在基隆市中心要找素食店家其實並不是很多，詹家素食就是一家基隆的經典店家之一，不但素食者喜歡吃，連非素食者也說讚。這家素食館還被郵輪旅遊網，推薦為來到基隆必吃的美食店家之一。
詹家素食相關資訊::
基隆市仁愛區仁四路20號
02 2426 7159
PM10:00AM