符元
含有「符元」共 3 篇內容
全部內容
發佈日期由新至舊
步驟 1: 計劃每天花點時間學習大語言模型的技術部分。
步驟 2: 選擇合適的教材。我選擇了Manning出版的《Build a Large Language Model (From Scratch)》，這本書有配套的程式碼和詳細的講解，是我信賴的學習素材。
步驟 3: 瀏覽教材中的程式
今天聊一聊由 Yu Bai [1] 於2023年發表的文章，
《Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection》[2]。
本文章的標題很有意思，
大語言模型通常會生產自己的「嵌入 Embedding」作為部分的輸入層，
並且在大語言模型的訓練途中不斷優化嵌入的方式，
以對特定的任務特定的數據優化。
而大語言模型使用的「嵌入維度 Embedding Dimension」通常是高維度的，
例如最小的GPT-2模型有1億1千