使用Meta釋出的模型，實作Chat GPT - Part 2

接著載入Part 2需要的相關依賴，其分別為：

from torch import cuda, bfloat16
import transformers

這些依賴是其他專家幫我們寫好的程式庫，讓我們可以站在別人的肩膀上做事，而不需要自己重複造輪子。

然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型，但是選用Llama 2或者Llama 3需要有Meta與HuggingFace的使用許可，詳細申請步驟見使用Meta釋出的模型，實作Chat GPT - Part 1

同時我們也讓系統自動偵測目前有的裝置，如果有GPU的話，優先採用，這可以加快Chat GPT回答速度。

Model_ID = 'meta-llama/Llama-2-7b-chat-hf' # 'meta-llama/Meta-Llama-3-8B' for Llama 3
Device = f'cuda:{cuda.current_device()}' if cuda.is_available() else 'cpu'

上述程式都打完之後，我們就可以按下紅色框框的執行按鈕，等待約五秒之後即可完成

接著考量到Meta使用的運算裝置和我們手邊有的裝置在運算能力上面有顯著差異，所以我們把Meta釋出的模型做一下Quantization，這可以降低我們手邊運算裝置的負荷。

# Use Library 'bitsandbytes' to DO Quantization

BitsAndBytes_Config = transformers.BitsAndBytesConfig(
                      load_in_4bit = True,
                      bnb_4bit_quant_type = 'nf4',
                      bnb_4bit_use_double_quant = True,
                      bnb_4bit_compute_dtype = bfloat16)

上述程式都打完之後，我們就可以按下紅色框框的執行按鈕，等待約一秒之後即可完成

接著回顧我們已經在使用Meta釋出的模型，實作Chat GPT - Part 1完成HuggingFace的註冊了，這邊要參照以下路徑來拿到個人專屬的Token，如此HuggingFace才會同意讓你下載Meta釋出的模型，這邊可以理解為每個人專屬的鑰匙，然後我們要去HuggingFace這個房子拿東西。

首先進入HuggingFace主頁面：https://huggingface.co/

點選右上角的「紅色框框」，再點選「Setting」

接著點選「Access Tokens」

這邊點選「New token」

出現以下畫面之後輸入「research」再點選「Generate a token」

最後就會出現以下畫面，我們點選紅色框框來複製

接著回到Colab程式頁面，拿剛剛複製好的專屬Token來使用，輸入以下程式，注意這裡「你的專屬Token，因為這是個人訊息，我就沒有貼上我的Token」要換成你剛剛複製的那段Token

HF_Auth = '你的專屬Token，因為這是個人訊息，我就沒有貼上我的Token'

然後可以透過以下程式測試你的Token是否有誤​

from huggingface_hub import login
login(token = HF_Auth)

畫面長這樣，我們一樣按「紅色框框」來執行

不到一秒執行完成後，會看到「紅色框框」旁有個綠色字提示，如下