筆記-曲博談AI模型.群聯-24.05.05
更新於 2024/05/06閱讀時間約 1 分鐘
投資理財內容聲明
- 文內如有投資理財相關經驗、知識、資訊等內容，皆為創作者個人分享行為。
- 有價證券、指數與衍生性商品之數據資料，僅供輔助說明之用，不代表創作者投資決策之推介及建議。
- 閱讀同時，請審慎思考自身條件及自我決策，並應有為決策負責之事前認知。
- 方格子希望您能從這些分享內容汲取投資養份，養成獨立思考的能力、判斷、行動，成就最適合您的投資理財模式。
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(fine tune)，預訓練之後，類神經網路裡的參數還不夠精準，所以需要微調，
例如要用來做翻譯功能的語言模型，就要把翻譯的資料、明確的輸入到神經網路，去微調這個參數。
微調完之後，才會得到一個可以拿來應用的模型。
3.推論，把要翻譯的資料輸入，模型經過推論運算，會輸入翻譯好的結果。
*訓練，類似花10年學英文、運算量龐大，學好之後等於把英文的模型建立好；
遇到外國人時講英文，這就是推論。
*推論，需要的處理效能不高，但是推論是個很長時間的運用，會有大量的使用者、不停的運算，
可以不用最高階的處理器，需要的處理器數量龐大。
*微調，用大量的數據，標註、改變微調參數，不用大量的運算，需要的是大量的記憶體，所以需要記憶體容量大的伺服器。
*HBM在GPU旁邊，先進封裝 能夠封的HBM記憶體數量是固定的，
想要做微調的廠商，如果拿訓練用的伺服器來做微調，成本很高，因為只是需要記憶體，並不用那麼多的算力。
--群聯作的是快閃記憶體 固態硬碟，屬於速度比較慢的記憶體，
在微調的時候，可以用中介軟體，讓程式誤以為固態硬碟是跟HBM一樣的記憶體，就可以用低成本的方式放大記憶體容量，因為固態硬碟的容量大，
群聯的aiDAPTIV，屬於微調專用的伺服器，
讓企業可以拿別人預訓練好的大模型，用低價的微調伺服器，微調成企業想要做的產品。
*曲博也認為aiDAPTIV為正確的發展方向。
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
對我來說參加職涯相關的課程、講座，可以不用是為了轉換跑道，可以僅僅是自我的了解，解決當下的困擾或者理解別人的困擾，例如莫名的職場倦怠，莫名其妙被其他人的負面情緒轟炸的時候可以盡量保持冷靜，或者是市場調查，即早發現自己的不足即早處理。
以下是我參加女力學院線上講座-職涯趨勢-未來履歷說明書的筆
親愛的孩子，即使身陷迷霧中，也要確實認知自己的模樣與價值，雖然妳尚分不清方向，但對自我認知的清晰將散發出光，為妳照亮四周，引領妳前進。
無需羨慕他人．模糊了自己，請以愛與肯定的光重塑妳的模樣。
在上一章有提到區塊鏈主要是一些點到點的交易紀錄，就像我們一般在買東西一樣，要完成一樁交易會有幾個要件：消費者、供應者、第三方見證者、費用以及商品，在區塊鏈上的交易(Web3稱為鑄造Mint)也是如此，這一章就來了解一下這幾個重要角色。
這堂課是前面教過的綜合練習和深入討論。包括更多關於設界線、溝通的重點摘要、辨識情緒和源頭、愛＋焦慮＝控制、問題行為和非暴力溝通：區分『觀察』和『評論』。
踏入Web3剛滿一年不久，其實很多區塊鏈的知識、專有名詞都還不是很懂，網路上的資訊雖然很多，但是大部分都寫的很專業，一個新手要去讀懂很難，我自己也是在這個領域慢慢摸索很久，直到現在我才能粗略的了解網路上的文章在寫什麼，希望能藉由這樣的學習筆記自我消化，也能提供給新手更白話、好理解的Web3知識。
#星期一聊精油
#這篇是在萬聖節當天寫的
一直以為上周末就過完萬聖節，原來今天才是萬聖夜XD那我們就應應景，聊一下驅魔淨化的好夥伴：#桉油醇迷迭香，英文名是蘿絲瑪莉Rosemary。
偏淡的酒色，酒液邊緣略微偏棕色。有草莓、櫻桃等紅色水果香氣，並帶有一點玫瑰花香。水果類型的一類香氣已經不是這隻酒的主要香味，取而代之的是更為明顯的皮革，皮草，以及濕掉的葉子的香氣。酒體輕盈，帶有中高酸度，單寧緊實的感覺仍有些明顯，但平衡感還是不錯的。餘韻中等偏短，有一些濕掉的蘑菇的口感。
「鬧區中的寧靜清香，兆兆茶苑」
台灣人愛喝茶舉世聞名，從老到少不分任何族群，在想喝飲料時的首選都是茶類的飲料，而近年來隨著國人消費能力上升、精緻文化越來越流行，所謂的深入式店家越來越流行，消費者已經不是只在意東西好不好吃、CP值高不高，更在意一個店家整體氛圍與用餐體驗的營造，在意這些食品或飲品有無獨
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
對我來說參加職涯相關的課程、講座，可以不用是為了轉換跑道，可以僅僅是自我的了解，解決當下的困擾或者理解別人的困擾，例如莫名的職場倦怠，莫名其妙被其他人的負面情緒轟炸的時候可以盡量保持冷靜，或者是市場調查，即早發現自己的不足即早處理。
以下是我參加女力學院線上講座-職涯趨勢-未來履歷說明書的筆
親愛的孩子，即使身陷迷霧中，也要確實認知自己的模樣與價值，雖然妳尚分不清方向，但對自我認知的清晰將散發出光，為妳照亮四周，引領妳前進。
無需羨慕他人．模糊了自己，請以愛與肯定的光重塑妳的模樣。
在上一章有提到區塊鏈主要是一些點到點的交易紀錄，就像我們一般在買東西一樣，要完成一樁交易會有幾個要件：消費者、供應者、第三方見證者、費用以及商品，在區塊鏈上的交易(Web3稱為鑄造Mint)也是如此，這一章就來了解一下這幾個重要角色。
這堂課是前面教過的綜合練習和深入討論。包括更多關於設界線、溝通的重點摘要、辨識情緒和源頭、愛＋焦慮＝控制、問題行為和非暴力溝通：區分『觀察』和『評論』。
踏入Web3剛滿一年不久，其實很多區塊鏈的知識、專有名詞都還不是很懂，網路上的資訊雖然很多，但是大部分都寫的很專業，一個新手要去讀懂很難，我自己也是在這個領域慢慢摸索很久，直到現在我才能粗略的了解網路上的文章在寫什麼，希望能藉由這樣的學習筆記自我消化，也能提供給新手更白話、好理解的Web3知識。
#星期一聊精油
#這篇是在萬聖節當天寫的
一直以為上周末就過完萬聖節，原來今天才是萬聖夜XD那我們就應應景，聊一下驅魔淨化的好夥伴：#桉油醇迷迭香，英文名是蘿絲瑪莉Rosemary。
偏淡的酒色，酒液邊緣略微偏棕色。有草莓、櫻桃等紅色水果香氣，並帶有一點玫瑰花香。水果類型的一類香氣已經不是這隻酒的主要香味，取而代之的是更為明顯的皮革，皮草，以及濕掉的葉子的香氣。酒體輕盈，帶有中高酸度，單寧緊實的感覺仍有些明顯，但平衡感還是不錯的。餘韻中等偏短，有一些濕掉的蘑菇的口感。
「鬧區中的寧靜清香，兆兆茶苑」
台灣人愛喝茶舉世聞名，從老到少不分任何族群，在想喝飲料時的首選都是茶類的飲料，而近年來隨著國人消費能力上升、精緻文化越來越流行，所謂的深入式店家越來越流行，消費者已經不是只在意東西好不好吃、CP值高不高，更在意一個店家整體氛圍與用餐體驗的營造，在意這些食品或飲品有無獨