AI說書 - 從0開始 - 109 | BLEU 評分機制前言
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
- AI說書 - 從0開始 - 103：資料集載入
- AI說書 - 從0開始 - 104：定義資料清洗的函數
- AI說書 - 從0開始 - 105：資料集的資料進行資料清洗
- AI說書 - 從0開始 - 106：定義空白表單、詞彙計數器的函數 (排除頻率低的詞彙)
- AI說書 - 從0開始 - 107：定義將沒看過的詞彙轉為 'unk' 的函數
- AI說書 - 從0開始 - 108：匯集所有函數並製造出可以直接拿來訓練的資料集
法語數據集的每一行都是需要翻譯的句子，英語數據集的每一行都是機器翻譯模型的參考翻譯，機器翻譯模型必須生成一個英語候選翻譯，以匹配這個參考翻譯，BLEU 提供了一種方法來評估機器翻譯模型生成的候選翻譯。
Papineni 等人於 2002 年設計了一種有效的方法來評估人工翻譯，人工基準很難定義，然而，他們意識到，如果我們將人工翻譯與機器翻譯逐字比較，可以獲得有效的結果，Papineni 稱其方法為：Bilingual Evaluation Understudy Score (BLEU)，我們想用 Natural Language Toolkit (NLTK) 來實作 BLEU，詳見：
http://www.nltk.org/api/nltk.translate.html#nltk.translate.bleu_score.sentence_bleu
BLEU 方法將部分候選句子與一個或多個參考句子進行比較，以下先載入必要的依賴庫：
from nltk.translate.bleu_score import sentence_bleu
from nltk.translate.bleu_score import SmoothingFunction
188會員
495內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
在創作的路上真的很多人問我說
到底要怎麼做出符合自己期待
但又可以表現得很有美感的作品？🥹
這個問題真的應該是每個創作者都一直在學習的課題吧！
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
事前聲明：
我先說明我的筆記製作流程：
在YT下載 >> 生成逐字稿 >> 利用 AI 整理條列式筆記 >> 人工整理
我已經將逐字稿放上來分享在<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐字稿>>，不過逐字稿多少會有錯，如果要使用請多注意。
<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
在創作的路上真的很多人問我說
到底要怎麼做出符合自己期待
但又可以表現得很有美感的作品？🥹
這個問題真的應該是每個創作者都一直在學習的課題吧！
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
最新的AI趨勢讓人眼花撩亂，不知要如何開始學習？本文介紹了作者對AI的使用和體驗，以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具，可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心，不停止學習，並提出了對健康生活和開心生活的祝福。
事前聲明：
我先說明我的筆記製作流程：
在YT下載 >> 生成逐字稿 >> 利用 AI 整理條列式筆記 >> 人工整理
我已經將逐字稿放上來分享在<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐字稿>>，不過逐字稿多少會有錯，如果要使用請多注意。
<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888
http://tinyurl.com/12000ai888