【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
閱讀時間約 4 分鐘
這次來介紹一下NLP自然語言處理中重要的一個任務「命名實體識別(Named Entity Recognition)」， 這個任務主要識別出「人名」、「地名」、「公司」…等實體， 透過這些實體辨識結果， 可以近一步的理解意圖， 甚至判斷出該文章主要在講什麼重點…等。
關於更多NER的細節歡迎閱讀: 「【自然語言處理 - spaCy】善用ChatGPT幫我們訓練出自訂的Name Entity Recognition實體」
找看看有哪些可用模型
在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過HuggingFace平台如何精準的找出我們需要的模型， 那這次我們要找的任務是「Token Classification」，語言為「Chinese」， 我們就來選用最多人使用的「xlm-roberta-large-finetuned-conll03-english」吧！
準備文本
text = '台灣是一個非常美麗的地區'
安裝套件
!pip install transformers
!pip install pandas
進行NER任務
from transformers import pipeline, AutoTokenizer, AutoModelForTokenClassification
import pandas as pd
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
model = AutoModelForTokenClassification.from_pretrained("xlm-roberta-large-finetuned-conll03-english")
ner = pipeline("ner", model=model, tokenizer=tokenizer)
results = ner("台灣是一個非常美麗的地區")
pd.DataFrame(results)
上述的結果辨識出「台灣」是一個「I-LOC」的實體， 當然這個實體的標籤我們也可以自己去定義它。
今天的範例都在這裡「📦 huggingface/huggingface_ner.ipynb」歡迎自行取用。
結語
初步了解到Hugging Face架構之後深深感受到標準化的好處， 有點像是鴻海MIH平台一般， 賦能給各個開發者到這個平台共同發展AI模型， 雖說獲利模式是否足以支撐起一家公司仍待時間進行驗證， 但平台已經讓各種NLP技術的發展更快速， 也縮小著技術屏障的隔閡。
喜歡撰寫文章的你，不妨來了解一下：
歡迎加入一起練習寫作，賺取知識！
更多關於【Hugging Face 系列】…
- 【Hugging Face】Ep.1 平凡人也能玩的起的AI平台
- 【Hugging Face】Ep.2 初探新手村, 打造專屬的翻譯官
- 【Hugging Face】Ep.3 前往Datasets掏金趣
- 【Hugging Face】Ep.4 文字與模型的轉換器Tokenizer
- 【Hugging Face】Ep.5 文字世界中的超能力語言英雄(Named Entity Recognition)
- 【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)
- 【Hugging Face】Ep.7 以文生圖的魔幻製圖師(Text To Image)
- 【Hugging Face】Ep.8 專業的標準化推理家(Inference API)
為什麼會看到廣告
117會員
262內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
本篇參與的主題活動
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
在生成式AI與大型語言模型(Large Language Model, LLM)蓬勃發展下，有許多工具可以幫助我們學習與撰寫程式，這篇文章提供了實作範例與一些經驗，分享如何使用ChatGPT(免費的GPT-3.5)協助程式語言的學習，並且完成屬於自己的程式。
前幾個禮拜，AWS 舉行 Startup Day Taiwan。想當然爾，最熱門的主題非生成式 AI (Generative AI) 莫屬。既然 AWS 有現成的工具，身為一名工程師，自然看看無妨，這篇文章算是新手開箱文，會說明如何部署一套基礎模型，並使用 AWS SDK 與其互動。
前言
我在工作中沒有什麼機會接觸到機器學習，學生時期也沒有學習過相關知識。
作為一個業餘小白，我對機器學習非常感興趣。在自學的過程中，我逐漸意識到利用機器學習可以做很多有趣的事情。 因此，我決定嘗試使用 AWS SageMaker JumpStart 來實驗文字生成式繪圖 AI ，以了解機
最近玩到了一個我覺得很新奇有趣的軟體，叫做SillyTavern。
SillyTavern是專用於創建虛擬角色的AI聊天軟體，SillyTavern是TavernAI的分支，但SillyTavern走上了自己的路，加進了許多額外功能，並且仍在積極的持續更新中。
然後，可以色色!
「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對
你可能也想看
Google News 追蹤
台灣美女的多樣性和獨特性使得AI在生成她們的形象時面臨一定的挑戰。不同的人對美的理解和偏好各異，這也給AI數據庫帶來了多樣化的需求。以下是對五張AI生成的台灣美女形象的分析和評價：
第一張：虔誠的台灣女孩子
這張圖中的女孩子手捧鮮花，顯得十分虔誠。背景選用了台灣的市場街頭，這種場景非常具有本地特
情感分析是一種自然語言處理技術，用於自動識別和分析文本中的情感傾向，通常是正向、負向或中性。
我們可以使用 NLTK 來實現一個基於單純貝斯分類器的情感分析模型。
本文介紹了流行的Python套件NLTK（Natural Language Toolkit）的主要特點、功能和在中文和英文語料上的應用。從安裝到實際應用，深入介紹了分詞、停用詞去除、詞性標註、命名實體識別等NLP任務的具體實現和步驟，幫助讀者理解和應用NLTK。
學習如何使用 Tensorflow.js 的 COCO-SSD 模型在網頁上進行圖片物件辨識，包括基本使用方法、進階應用及實作範例，輕鬆辨識圖片中的人數和物件。
這篇文章討論了自然語言處理技術的發展歷程，從語言模型的引入到深度學習的應用。作者觀察到現今GPT在產出中文國學內容時的深度不足，並提出了自然語言處理領域的倫理使用和版權問題，以及對大眾的影響。最後，作者探討了個人在自然語言領域的發展可能性。
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署，包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等，並進行相關安裝過程說明。
本文主要應用deepface的正面（frontal）人臉檢測的預設模型，使用analyze 函數，用於分析一張人臉圖像的情感（emotion）。
在Colab上實現，若用其他平台需稍微修改程式碼。
Deepface
Deepface是一個輕量級的Python人臉辨識和臉部屬性分析
streamlit與github連動程式庫，呈現即時預測手寫英文字母
整理了一下，先前學的機器學習利用Colab來訓練出能辨識手寫A~Z英文字母的模型，使用的模型是CNN(Convolutional Neural Network，CNN）模型
訓練好的模型，當然是要拿來應用，成果呈現
台灣美女的多樣性和獨特性使得AI在生成她們的形象時面臨一定的挑戰。不同的人對美的理解和偏好各異，這也給AI數據庫帶來了多樣化的需求。以下是對五張AI生成的台灣美女形象的分析和評價：
第一張：虔誠的台灣女孩子
這張圖中的女孩子手捧鮮花，顯得十分虔誠。背景選用了台灣的市場街頭，這種場景非常具有本地特
情感分析是一種自然語言處理技術，用於自動識別和分析文本中的情感傾向，通常是正向、負向或中性。
我們可以使用 NLTK 來實現一個基於單純貝斯分類器的情感分析模型。
本文介紹了流行的Python套件NLTK（Natural Language Toolkit）的主要特點、功能和在中文和英文語料上的應用。從安裝到實際應用，深入介紹了分詞、停用詞去除、詞性標註、命名實體識別等NLP任務的具體實現和步驟，幫助讀者理解和應用NLTK。
學習如何使用 Tensorflow.js 的 COCO-SSD 模型在網頁上進行圖片物件辨識，包括基本使用方法、進階應用及實作範例，輕鬆辨識圖片中的人數和物件。
這篇文章討論了自然語言處理技術的發展歷程，從語言模型的引入到深度學習的應用。作者觀察到現今GPT在產出中文國學內容時的深度不足，並提出了自然語言處理領域的倫理使用和版權問題，以及對大眾的影響。最後，作者探討了個人在自然語言領域的發展可能性。
延續使用Meta釋出的模型，實作Chat GPT - Part 2
我們已經確定可以進入HuggingFace之後，就要來載入模型，其對應程式為：
Model_Config = transformers.AutoConfig.from_pretrained(
Mode
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
本文透過 Cloud Native Taiwan User Group 之 Infra Labs 雲端主機進行深度學習環境部署，包含 Nvidia GPU driver、PyTorch、Jupyter Lab 等，並進行相關安裝過程說明。
本文主要應用deepface的正面（frontal）人臉檢測的預設模型，使用analyze 函數，用於分析一張人臉圖像的情感（emotion）。
在Colab上實現，若用其他平台需稍微修改程式碼。
Deepface
Deepface是一個輕量級的Python人臉辨識和臉部屬性分析
streamlit與github連動程式庫，呈現即時預測手寫英文字母
整理了一下，先前學的機器學習利用Colab來訓練出能辨識手寫A~Z英文字母的模型，使用的模型是CNN(Convolutional Neural Network，CNN）模型
訓練好的模型，當然是要拿來應用，成果呈現