我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
- 起始層(Stem Layer):從輸入影像中提取特徵
- 四個階段(Stages):每個階段由一組 Transformer Blocks 組成,每個 Transformer 區塊包含一個自注意力層、一個卷積層和一個殘差連接
- 分類頭(Classification Head):輸出輸入影像的分類機率
ConvNext 模型的分類頭將各階段的輸出作為輸入,並輸出一個類別機率向量,該向量的類別數取決於模型訓練所用資料集中的類別數目
如果要觀看 ConvNext 模型的堆疊,可以使用以下程式:
model_name = "Denis1976/autotrain-training-cifar-10-81128141663"
model = transformers.AutoModelForImageClassification.from_pretrained(model_name, use_auth_token = token)
print(model.config)
結果為:






















