我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。

結果為:

具體內容為:
在 Google Docs 的環境中,Transformer 模型基於大量文本數據進行訓練,學習單詞和短語之間的模式和關係,這個訓練過程使模型能夠根據給定的提示或輸入生成連貫且與語境相關的文本。
當用戶與 Google Docs 中的生成式 AI 互動時,他們可以提供提示或起始點,讓模型生成文本,Transformer 模型隨後使用其學到的知識,根據給定的輸入預測最有可能出現的下一個單詞或短語,這種預測是通過考慮提示的上下文以及訓練數據中不同單詞的機率來生成的。
Transformer 模型採用一種名為自注意力的機制,使其能夠衡量給定序列中不同單詞的重要性,這種注意力機制使模型能夠捕捉長距依賴關係,並理解文本中不同部分之間的關係。
生成的文本是通過從詞彙的機率分佈中進行取樣而產生的,最有可能的單詞根據其相關的機率被選中,這個取樣過程引入了隨機性,使生成式 AI 能夠產生多樣且富有創意的輸出。
需要注意的是,雖然 Google Docs 中的基於 Transformer 的生成式 AI 可以是一個強大的工具,但它並不完美,有時可能會生成不正確或無意義的輸出,Google 採取措施以確保 AI 系統的安全和可靠,但用戶仍應保持謹慎,並根據需要檢查和編輯生成的文本。