筆記-曲博談AI模型.群聯-24.05.05
投資理財內容聲明
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(fine tune)，預訓練之後，類神經網路裡的參數還不夠精準，所以需要微調，
例如要用來做翻譯功能的語言模型，就要把翻譯的資料、明確的輸入到神經網路，去微調這個參數。
微調完之後，才會得到一個可以拿來應用的模型。
3.推論，把要翻譯的資料輸入，模型經過推論運算，會輸入翻譯好的結果。
*訓練，類似花10年學英文、運算量龐大，學好之後等於把英文的模型建立好；
遇到外國人時講英文，這就是推論。
*推論，需要的處理效能不高，但是推論是個很長時間的運用，會有大量的使用者、不停的運算，
可以不用最高階的處理器，需要的處理器數量龐大。
*微調，用大量的數據，標註、改變微調參數，不用大量的運算，需要的是大量的記憶體，所以需要記憶體容量大的伺服器。
*HBM在GPU旁邊，先進封裝 能夠封的HBM記憶體數量是固定的，
想要做微調的廠商，如果拿訓練用的伺服器來做微調，成本很高，因為只是需要記憶體，並不用那麼多的算力。
--群聯作的是快閃記憶體 固態硬碟，屬於速度比較慢的記憶體，
在微調的時候，可以用中介軟體，讓程式誤以為固態硬碟是跟HBM一樣的記憶體，就可以用低成本的方式放大記憶體容量，因為固態硬碟的容量大，
群聯的aiDAPTIV，屬於微調專用的伺服器，
讓企業可以拿別人預訓練好的大模型，用低價的微調伺服器，微調成企業想要做的產品。
*曲博也認為aiDAPTIV為正確的發展方向。
留言0
查看全部
你可能也想看
Google News 追蹤
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我們人類和ChatGPT的對話技巧也是需要學習的，有鑑於此，我想要一天分享一點「和ChatGPT對話的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
針對Generative AI、Foundation Model、Large Language Mode
前陣子自己手刻了ChatGPT，並發了一系列文章：
使用Meta釋出的模型，實作Chat GPT - Part 0
使用Meta釋出的模型，實作Chat GPT - Part 1
使用Meta釋出的模型，實作Chat GPT - Part 2
使用Meta釋出的模型，實作Chat GPT -
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
ChatGPT 是 OpenAI 開發的大型語言模型，以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段：預訓練和微調。 微調使用了 RLHF（Reinforcement Learning from Human Feedback）技術，可以有效地提高模型生成內容的質量。
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧 AI說書 - 從0開始 - 129 中說，Bidirectional Encoder Representations from Transformers (BER
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
在某些情況下，別人提供的 Pretrained Transformer Model 效果不盡人意，可能會想要自己做 Pretrained Model，但是這會耗費大量運
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
繼 AI說書 - 從0開始 - 82 與 xxx ，我們談論了衡量 AI 模型的方式，那當你訓練的模型比 State-of-the-Art 還要好並想要進行宣稱時，需要
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我們人類和ChatGPT的對話技巧也是需要學習的，有鑑於此，我想要一天分享一點「和ChatGPT對話的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
針對Generative AI、Foundation Model、Large Language Mode
前陣子自己手刻了ChatGPT，並發了一系列文章：
使用Meta釋出的模型，實作Chat GPT - Part 0
使用Meta釋出的模型，實作Chat GPT - Part 1
使用Meta釋出的模型，實作Chat GPT - Part 2
使用Meta釋出的模型，實作Chat GPT -
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
ChatGPT 是 OpenAI 開發的大型語言模型，以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段：預訓練和微調。 微調使用了 RLHF（Reinforcement Learning from Human Feedback）技術，可以有效地提高模型生成內容的質量。