筆記-曲博談AI模型.群聯-24.05.05

更新於 發佈於 閱讀時間約 1 分鐘
投資理財內容聲明

筆記-曲博談AI模型.群聯-24.05.05

https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s

*大型語言模型 三個步驟:

1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。

2.微調(fine tune),預訓練之後,類神經網路裡的參數還不夠精準,所以需要微調,

例如要用來做翻譯功能的語言模型,就要把翻譯的資料、明確的輸入到神經網路,去微調這個參數。

微調完之後,才會得到一個可以拿來應用的模型。

3.推論,把要翻譯的資料輸入,模型經過推論運算,會輸入翻譯好的結果。

*訓練,類似花10年學英文、運算量龐大,學好之後等於把英文的模型建立好;

遇到外國人時講英文,這就是推論。

*推論,需要的處理效能不高,但是推論是個很長時間的運用,會有大量的使用者、不停的運算,

可以不用最高階的處理器,需要的處理器數量龐大。

*微調,用大量的數據,標註、改變微調參數,不用大量的運算,需要的是大量的記憶體,所以需要記憶體容量大的伺服器。

*HBM在GPU旁邊,先進封裝 能夠封的HBM記憶體數量是固定的,

想要做微調的廠商,如果拿訓練用的伺服器來做微調,成本很高,因為只是需要記憶體,並不用那麼多的算力。

--群聯作的是快閃記憶體 固態硬碟,屬於速度比較慢的記憶體,

在微調的時候,可以用中介軟體,讓程式誤以為固態硬碟是跟HBM一樣的記憶體,就可以用低成本的方式放大記憶體容量,因為固態硬碟的容量大,

群聯的aiDAPTIV,屬於微調專用的伺服器,

讓企業可以拿別人預訓練好的大模型,用低價的微調伺服器,微調成企業想要做的產品。

*曲博也認為aiDAPTIV為正確的發展方向。


留言
avatar-img
留言分享你的想法!
avatar-img
每日發車
84會員
270內容數
股市x 投資x 自耕農
每日發車的其他內容
2024/09/04
每日台股車況-24.09.04四 今日牛棚: 無 今日上車:  無 今日下車:  *昇達科3491          24/08/19       24/09/04   -3.7%     第二次跌破10MA,出場。 高檔上漲/量增O/收斂O/其他低軌衛星不強=/低軌衛星題材O
Thumbnail
2024/09/04
每日台股車況-24.09.04四 今日牛棚: 無 今日上車:  無 今日下車:  *昇達科3491          24/08/19       24/09/04   -3.7%     第二次跌破10MA,出場。 高檔上漲/量增O/收斂O/其他低軌衛星不強=/低軌衛星題材O
Thumbnail
2024/09/04
每日台股車況-24.09.03三 今日牛棚: 無 今日上車: *金像電2368 24/09/03 第一天加入。 底部起漲/量增O/收斂O/PCB族群轉強O/營收成長強O;外資↑投信↑大戶= 今日下車: 無 目前組合
Thumbnail
2024/09/04
每日台股車況-24.09.03三 今日牛棚: 無 今日上車: *金像電2368 24/09/03 第一天加入。 底部起漲/量增O/收斂O/PCB族群轉強O/營收成長強O;外資↑投信↑大戶= 今日下車: 無 目前組合
Thumbnail
2024/09/02
每日台股車況-24.09.02一 今日牛棚: 無 今日上車:  *時碩工業4566             24/09/02       高檔上漲/量增O/收斂O/機器人零件族群強O/營收成長強O;外資↓投信=大戶↑ 今日下車:  無 目前組合              
Thumbnail
2024/09/02
每日台股車況-24.09.02一 今日牛棚: 無 今日上車:  *時碩工業4566             24/09/02       高檔上漲/量增O/收斂O/機器人零件族群強O/營收成長強O;外資↓投信=大戶↑ 今日下車:  無 目前組合              
Thumbnail
看更多
你可能也想看
Thumbnail
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》,我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物;這次活動不僅送出了許多獎勵,也反映了「內容有價」——創作不只是分享、紀錄,也能用各種不同形式變現、帶來實際收入。
Thumbnail
2025 vocus 推出最受矚目的活動之一——《開箱你的美好生活》,我們跟著創作者一起「開箱」各種故事、景點、餐廳、超值好物⋯⋯甚至那些讓人會心一笑的生活小廢物;這次活動不僅送出了許多獎勵,也反映了「內容有價」——創作不只是分享、紀錄,也能用各種不同形式變現、帶來實際收入。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
在當今快速變化的數位時代,企業面臨著前所未有的數據處理需求。為了應對這些挑戰,企業紛紛建立自己的大型語言模型(LLM),利用大量數據進行訓練,讓模型能夠理解並生成自然語言,從而實現人機協作,優化業務流程並提升客戶體驗。
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們把 AI說書 - Prompt Engineering - 55 和 AI說書 - Prompt E
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們把 AI說書 - Prompt Engineering - 55 和 AI說書 - Prompt E
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在AI說書 - Prompt Engineering - 2中,我們已經以文字敘述各種AI的範疇與其思想
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在AI說書 - Prompt Engineering - 2中,我們已經以文字敘述各種AI的範疇與其思想
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
這陣子使用AI模型,還有參考國內外一些喜歡玩語言模型的同好發文,一個很有趣的結論就是,有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通,會得到比較好的結果,這的確是非常反直覺的,也就是說很多時候ChatGPT耍懶不肯工作的時候,你用加油打氣,或是情緒勒索的方法,確實是可以得到比較好的結果。
Thumbnail
這陣子使用AI模型,還有參考國內外一些喜歡玩語言模型的同好發文,一個很有趣的結論就是,有時候把大型語言模型(尤其ChatGPT)當作一個人來溝通,會得到比較好的結果,這的確是非常反直覺的,也就是說很多時候ChatGPT耍懶不肯工作的時候,你用加油打氣,或是情緒勒索的方法,確實是可以得到比較好的結果。
Thumbnail
延續上週提到的,「有哪些不訓練模型的情況下,能夠強化語言模型的能力」,這堂課接續介紹其中第 3、4 個方法
Thumbnail
延續上週提到的,「有哪些不訓練模型的情況下,能夠強化語言模型的能力」,這堂課接續介紹其中第 3、4 個方法
Thumbnail
這一節課說明,如何透過改變給模型的指示或咒語(prompt),來得到不同的結果 。如果直接說結論的話會是,在今天語言模型的能力之下,我們只要交代清楚任務就好,可以包括背景以及需求。而這節課很像是一堂模型咒語的歷史課 XD
Thumbnail
這一節課說明,如何透過改變給模型的指示或咒語(prompt),來得到不同的結果 。如果直接說結論的話會是,在今天語言模型的能力之下,我們只要交代清楚任務就好,可以包括背景以及需求。而這節課很像是一堂模型咒語的歷史課 XD
Thumbnail
ChatGPT 是 OpenAI 開發的大型語言模型,以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段:預訓練和微調。 微調使用了 RLHF(Reinforcement Learning from Human Feedback)技術,可以有效地提高模型生成內容的質量。
Thumbnail
ChatGPT 是 OpenAI 開發的大型語言模型,以其強大的生成能力和對話能力而聞名。 ChatGPT 的訓練過程主要分為兩個階段:預訓練和微調。 微調使用了 RLHF(Reinforcement Learning from Human Feedback)技術,可以有效地提高模型生成內容的質量。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News