C003|為什麼大語言模型的嵌入需要這麼多維度?大語言模型通常會生產自己的「嵌入 Embedding」作為部分的輸入層,
並且在大語言模型的訓練途中不斷優化嵌入的方式,
以對特定的任務特定的數據優化。
而大語言模型使用的「嵌入維度 Embedding Dimension」通常是高維度的,
例如最小的GPT-2模型有1億1千 C001|為什麼需要 tiktoken 將文字轉換成符元表?2024年6月11日晚上6點48分於洛杉磯,
我打算開始每天花點時間學習大語言模型的技術部分。
主要使用的教材是 Manning出版的Build a Large Language Model (From Scratch) [1]。
這本書有配套的code,還有詳細的講解,是我信賴的 8. 字符串详解Hi, 大家好。我是茶桁。
前几节课中我们学习了函数,那么这节课开始,我们花几节课返过头来详细的学习一下Python内的数据类型。第一节课,让我们先从字符串开始:
回顾字符串的定义方式
了解转义字符
字符串格式化的方法
字符串相关函数
字符串的定义方式
单引号定义字符串 ‘ ’
双引