AI說書 - 從0開始 - 264 | SHAP 搭配 Hugging Face

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們在 AI說書 - 從0開始 - 261 | SHAP 數學計算 中，介紹了 SHAP 的數學，也在 AI說書 - 從0開始 - 262 | SHAP 數學實作 中，實作了這些數學，而實作結果如 AI說書 - 從0開始 - 263 | SHAP 數學實作結果 所示，現在要使用 Hugging Face 來達成同樣目的：

!pip install transformers
!pip install xformers
!pip install shap

sentence = 'SHAP is a useful explainer'


import transformers
model = transformers.pipeline('sentiment-analysis', model = 'distilbert-base-uncased-finetuned-sst-2-english')
result = model(sentence)[0] 
print(result)


import shap
explainer = shap.Explainer(model)
shap_values = explainer([sentence])
predicted_class = result['label']
shap.plots.text(shap_values[0, :, predicted_class])

結果如下：