【Hugging Face】Ep.6 解決問題的專業級破關知識家(Question Answering)

更新 發佈閱讀 5 分鐘
圖片來源

圖片來源

QA問答是自然語言處理NLP中蠻困難的一項任務, 必須從一段文本中識別出使用者的提問,像搜尋引擎就是一種QA的應用, 從眾多的問題中找答案, 那就讓我們親手來打造一下自己專屬的QA系統吧!

找看看有哪些可用模型

在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過HuggingFace平台如何精準的找出我們需要的模型, 那這次我們要找的任務是「Question Answering」,語言為「Chinese」, 我們就來選用最多人使用的「timpal0l/mdeberta-v3-base-squad2」吧!

圖片來源

圖片來源


安裝套件

!pip install transformers

給予知識文章

這邊透過Chatgpt幫我們產生Google的基礎知識並做為問答系統的基礎知識。

context = """
Google是一家全球知名的科技公司,成立於1998年,總部位於美國加利福尼亞州的山景城。Google以其在搜尋引擎技術方面的卓越表現而聞名,早期推出的Google搜尋引擎迅速成為全球最受歡迎和廣泛使用的搜尋引擎之一。

除了搜尋引擎外,Google還開發和提供了許多其他互聯網產品和服務。其中包括谷歌地圖、谷歌郵箱(Gmail)、谷歌翻譯、谷歌雲端硬碟(Google Drive)等。此外,Google還擁有Android操作系統,該操作系統目前是全球最受歡迎的移動操作系統之一。

Google也涉足硬體領域,推出了自己的智慧型手機系列Pixel,以及Pixelbook筆記型電腦、Google Home智慧音箱等產品。此外,Google還在人工智慧(AI)和機器學習領域投入了大量資源,並推出了許多與AI相關的產品和服務,如Google Assistant智慧助理和Google Lens圖像識別技術。

除了互聯網產品和服務,Google還在廣告業務方面表現出色。其廣告平台Google Ads為廣告客戶提供了廣告投放和行銷解決方案,並通過廣告收入成為Google的主要盈利來源之一。

Google在全球範圍內擁有廣泛的影響力和使用者基礎。其創始人之一拉里·佩奇(Larry Page)和謝爾蓋·布林(Sergey Brin)一直是科技行業的知名人物,Google也是全球最具價值的品牌之一。公司在全球各地設有辦事處和數據中心,員工遍布世界各地。

Google一直秉持著使訊息普遍可用和受人們歡迎的使命,致力於提供高質量的產品和服務,並不斷推動科技的創新和發展。
"""

打造QA任務機器人

這邊我們選用timpal0l/mdeberta-v3-base-squad2這個模型進行任務。

from transformers import pipeline, AutoTokenizer, AutoModelForQuestionAnswering
tokenizer = AutoTokenizer.from_pretrained("timpal0l/mdeberta-v3-base-squad2")
model = AutoModelForQuestionAnswering.from_pretrained("timpal0l/mdeberta-v3-base-squad2")
qa = pipeline("question-answering", model=model, tokenizer=tokenizer)

問與答

回答雖然不盡完美, 但已經能夠精確的理解我們的問題並給予接近正確的回答, 見到如此成效, 對於商業嗅覺敏感的朋友來說, 或許已經想到要如何打造一個知識庫問答機器人了吧!

後面的章節也會介紹如何自行訓練私有資料庫,並真正的打造私有的專屬問答知識家。

今天的範例都在這裡「📦huggingface/huggingface_qa.ipynb」歡迎自行取用。

如何使用請參閱「【Google Colab系列】台股分析預備式: Colab平台與Python如何擦出火花?」。

結語

藉由Hugging Face平台, 我們可以親手打造各式各樣的AI機器人, 上面也已經有許多前輩分享的模型可供使用, 對於我們來說只要站在巨人的肩膀上即可, 也期望有朝一日我們也能訓練出對這世界更有幫助的AI模型。

喜歡撰寫文章的你,不妨來了解一下:

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入?

歡迎加入一起練習寫作,賺取知識!


更多關於【Hugging Face 系列】…

留言
avatar-img
留言分享你的想法!
avatar-img
阿Han的沙龍
139會員
303內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
看更多
你可能也想看
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
OpenAI 繼上週發表新的人工智慧模型「GPT-4o mini」,由 AI 驅動的搜尋引擎 SearchGPT 原型也隨之發布,該引擎能結合來自網路的即時資訊,讓使用者像與 ChatGPT 交談一樣搜尋。 透過 SearchGPT,用戶能以自然語言提出問題(與使用 ChatGPT 交談方式相同
Thumbnail
Perplexity AI 是一款使用 GPT 模型的人工智慧搜尋引擎,提供即時、準確且廣泛的網路搜尋服務,根據用戶提問自動篩選和整理相關資料,並附上參考來源連結。
Thumbnail
Perplexity AI 是一款使用 GPT 模型的人工智慧搜尋引擎,提供即時、準確且廣泛的網路搜尋服務,根據用戶提問自動篩選和整理相關資料,並附上參考來源連結。
Thumbnail
生成式AI對搜尋方式帶來了革新, ChatGPT、Gemini和perplexity都是一些值得關注的工具。生成式AI提供參考來源,讓使用者可以查證回覆內容,並提供相關的資訊與建議。在研究與創作時,透過持續對話,AI也可以成為有效率的參考夥伴。對於教學創作也有很好的應用。
Thumbnail
生成式AI對搜尋方式帶來了革新, ChatGPT、Gemini和perplexity都是一些值得關注的工具。生成式AI提供參考來源,讓使用者可以查證回覆內容,並提供相關的資訊與建議。在研究與創作時,透過持續對話,AI也可以成為有效率的參考夥伴。對於教學創作也有很好的應用。
Thumbnail
QA問答是自然語言處理NLP中蠻困難的一項任務, 必須從一段文本中識別出使用者的提問,像搜尋引擎就是一種QA的應用, 從眾多的問題中找答案, 那就讓我們親手來打造一下自己專屬的QA系統吧! 找看看有哪些可用模型 在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過Hu
Thumbnail
QA問答是自然語言處理NLP中蠻困難的一項任務, 必須從一段文本中識別出使用者的提問,像搜尋引擎就是一種QA的應用, 從眾多的問題中找答案, 那就讓我們親手來打造一下自己專屬的QA系統吧! 找看看有哪些可用模型 在「【Hugging Face】Ep.3 前往Dataset掏金趣」我們有介紹過Hu
Thumbnail
面對鋪天蓋地的AI工具席捲而來? 你是感到躍躍欲試還是焦慮不安呢? 讓我們一起認識現有的AI學習資源,讓我們深入淺出來瞭解一下AI世界吧!
Thumbnail
面對鋪天蓋地的AI工具席捲而來? 你是感到躍躍欲試還是焦慮不安呢? 讓我們一起認識現有的AI學習資源,讓我們深入淺出來瞭解一下AI世界吧!
Thumbnail
它到底是什麼? 簡單說Hugging Face是人工智慧開源平台,開發者發表和共享預訓練模型、資料庫和示範檔案等。Hugging Face共享超過10萬個預訓練模型,上萬資料庫,包括微軟、Google、彭博、英特爾等各行業上萬機構都有使用Hugging Face。 理念與目標 我們都知道最近火紅的O
Thumbnail
它到底是什麼? 簡單說Hugging Face是人工智慧開源平台,開發者發表和共享預訓練模型、資料庫和示範檔案等。Hugging Face共享超過10萬個預訓練模型,上萬資料庫,包括微軟、Google、彭博、英特爾等各行業上萬機構都有使用Hugging Face。 理念與目標 我們都知道最近火紅的O
Thumbnail
OpenAI 是一家成立於 2015 年的人工智能研究公司,總部位於美國加利福尼亞州舊金山,創始人包括 Tesla 和 SpaceX 的 CEO Elon Musk、PayPal 創始人 Peter Thiel、LinkedIn 的聯合創始人 Reid Hoffman....
Thumbnail
OpenAI 是一家成立於 2015 年的人工智能研究公司,總部位於美國加利福尼亞州舊金山,創始人包括 Tesla 和 SpaceX 的 CEO Elon Musk、PayPal 創始人 Peter Thiel、LinkedIn 的聯合創始人 Reid Hoffman....
Thumbnail
ChatGPT推出不過3個月,不只吸引眾多使用者,也引起了多數媒體報導,同時震撼了各大科技巨頭,特別是搜尋引擎龍頭『Google』。本文將深入淺出由四個重點分析。 一、ChatGPT是什麼? 二、生成式AI將取代搜尋引擎: 三、研發『生成式AI』將進入寒武紀大爆發: 四、AI人工智慧衍生的的問題:
Thumbnail
ChatGPT推出不過3個月,不只吸引眾多使用者,也引起了多數媒體報導,同時震撼了各大科技巨頭,特別是搜尋引擎龍頭『Google』。本文將深入淺出由四個重點分析。 一、ChatGPT是什麼? 二、生成式AI將取代搜尋引擎: 三、研發『生成式AI』將進入寒武紀大爆發: 四、AI人工智慧衍生的的問題:
Thumbnail
近日美國人工智慧研究實驗室OpenAI所推出一款聊天機器人ChatGPT,刮起了一陣AI旋風,甚至有人聲稱AI語言模型未來很可能撼動Google在搜尋引擎市場的地位。ChatGPT真的有如此強大的實力嗎?V大也好奇的花了一些時間去了解OpenAI實驗室、ChatGPT的背景,也申請了ChatGPT的
Thumbnail
近日美國人工智慧研究實驗室OpenAI所推出一款聊天機器人ChatGPT,刮起了一陣AI旋風,甚至有人聲稱AI語言模型未來很可能撼動Google在搜尋引擎市場的地位。ChatGPT真的有如此強大的實力嗎?V大也好奇的花了一些時間去了解OpenAI實驗室、ChatGPT的背景,也申請了ChatGPT的
Thumbnail
很多人應該最近都被 ChatGPT 的問答截圖給刷屏,甚至很多人說他是 Google killer,這篇分享給大家ChatGPT到底能做到什麼,他對Google有什麼影響
Thumbnail
很多人應該最近都被 ChatGPT 的問答截圖給刷屏,甚至很多人說他是 Google killer,這篇分享給大家ChatGPT到底能做到什麼,他對Google有什麼影響
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News