AI說書 - 從0開始 - 112 | BLEU + Smoothing 方法

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們在 AI說書 - 從0開始 - 110 | BLEU 使用方式與邏輯介紹 介紹了 BLEU 又在 AI說書 - 從0開始 - 111 | Smoothing 方法 介紹了 Smoothing 方法，現在我們來看怎麼何在一起：

#Example 4 
reference = [['je','vous','invite', 'a', 'vous', 'lever','pour', 'cette', 'minute', 'de', 'silence']] 
candidate = ['levez','vous','svp','pour', 'cette', 'minute', 'de', 'silence'] 
score = sentence_bleu(reference, candidate) 
print("without soothing score", score)

結果為：

現在我們引入 Smoothing：

chencherry = SmoothingFunction()
r1 = list('je vous invite a vous lever pour cette minute de silence') 
candidate = list('levez vous svp pour cette minute de silence')
print("with smoothing score", sentence_bleu([r1], candidate, smoothing_function = chencherry.method1))

結果為：