筆記-曲博談AI模型.群聯-24.05.05
閱讀時間約 1 分鐘
投資理財內容聲明
- 文內如有投資理財相關經驗、知識、資訊等內容，皆為創作者個人分享行為。
- 有價證券、指數與衍生性商品之數據資料，僅供輔助說明之用，不代表創作者投資決策之推介及建議。
- 閱讀同時，請審慎思考自身條件及自我決策，並應有為決策負責之事前認知。
- 方格子希望您能從這些分享內容汲取投資養份，養成獨立思考的能力、判斷、行動，成就最適合您的投資理財模式。
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(fine tune)，預訓練之後，類神經網路裡的參數還不夠精準，所以需要微調，
例如要用來做翻譯功能的語言模型，就要把翻譯的資料、明確的輸入到神經網路，去微調這個參數。
微調完之後，才會得到一個可以拿來應用的模型。
3.推論，把要翻譯的資料輸入，模型經過推論運算，會輸入翻譯好的結果。
*訓練，類似花10年學英文、運算量龐大，學好之後等於把英文的模型建立好；
遇到外國人時講英文，這就是推論。
*推論，需要的處理效能不高，但是推論是個很長時間的運用，會有大量的使用者、不停的運算，
可以不用最高階的處理器，需要的處理器數量龐大。
*微調，用大量的數據，標註、改變微調參數，不用大量的運算，需要的是大量的記憶體，所以需要記憶體容量大的伺服器。
*HBM在GPU旁邊，先進封裝 能夠封的HBM記憶體數量是固定的，
想要做微調的廠商，如果拿訓練用的伺服器來做微調，成本很高，因為只是需要記憶體，並不用那麼多的算力。
--群聯作的是快閃記憶體 固態硬碟，屬於速度比較慢的記憶體，
在微調的時候，可以用中介軟體，讓程式誤以為固態硬碟是跟HBM一樣的記憶體，就可以用低成本的方式放大記憶體容量，因為固態硬碟的容量大，
群聯的aiDAPTIV，屬於微調專用的伺服器，
讓企業可以拿別人預訓練好的大模型，用低價的微調伺服器，微調成企業想要做的產品。
*曲博也認為aiDAPTIV為正確的發展方向。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
對我來說參加職涯相關的課程、講座，可以不用是為了轉換跑道，可以僅僅是自我的了解，解決當下的困擾或者理解別人的困擾，例如莫名的職場倦怠，莫名其妙被其他人的負面情緒轟炸的時候可以盡量保持冷靜，或者是市場調查，即早發現自己的不足即早處理。
以下是我參加女力學院線上講座-職涯趨勢-未來履歷說明書的筆
親愛的孩子，即使身陷迷霧中，也要確實認知自己的模樣與價值，雖然妳尚分不清方向，但對自我認知的清晰將散發出光，為妳照亮四周，引領妳前進。
無需羨慕他人．模糊了自己，請以愛與肯定的光重塑妳的模樣。
在上一章有提到區塊鏈主要是一些點到點的交易紀錄，就像我們一般在買東西一樣，要完成一樁交易會有幾個要件：消費者、供應者、第三方見證者、費用以及商品，在區塊鏈上的交易(Web3稱為鑄造Mint)也是如此，這一章就來了解一下這幾個重要角色。
這堂課是前面教過的綜合練習和深入討論。包括更多關於設界線、溝通的重點摘要、辨識情緒和源頭、愛＋焦慮＝控制、問題行為和非暴力溝通：區分『觀察』和『評論』。
踏入Web3剛滿一年不久，其實很多區塊鏈的知識、專有名詞都還不是很懂，網路上的資訊雖然很多，但是大部分都寫的很專業，一個新手要去讀懂很難，我自己也是在這個領域慢慢摸索很久，直到現在我才能粗略的了解網路上的文章在寫什麼，希望能藉由這樣的學習筆記自我消化，也能提供給新手更白話、好理解的Web3知識。
#星期一聊精油
#這篇是在萬聖節當天寫的
一直以為上周末就過完萬聖節，原來今天才是萬聖夜XD那我們就應應景，聊一下驅魔淨化的好夥伴：#桉油醇迷迭香，英文名是蘿絲瑪莉Rosemary。
偏淡的酒色，酒液邊緣略微偏棕色。有草莓、櫻桃等紅色水果香氣，並帶有一點玫瑰花香。水果類型的一類香氣已經不是這隻酒的主要香味，取而代之的是更為明顯的皮革，皮草，以及濕掉的葉子的香氣。酒體輕盈，帶有中高酸度，單寧緊實的感覺仍有些明顯，但平衡感還是不錯的。餘韻中等偏短，有一些濕掉的蘑菇的口感。
「鬧區中的寧靜清香，兆兆茶苑」
台灣人愛喝茶舉世聞名，從老到少不分任何族群，在想喝飲料時的首選都是茶類的飲料，而近年來隨著國人消費能力上升、精緻文化越來越流行，所謂的深入式店家越來越流行，消費者已經不是只在意東西好不好吃、CP值高不高，更在意一個店家整體氛圍與用餐體驗的營造，在意這些食品或飲品有無獨
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
對我來說參加職涯相關的課程、講座，可以不用是為了轉換跑道，可以僅僅是自我的了解，解決當下的困擾或者理解別人的困擾，例如莫名的職場倦怠，莫名其妙被其他人的負面情緒轟炸的時候可以盡量保持冷靜，或者是市場調查，即早發現自己的不足即早處理。
以下是我參加女力學院線上講座-職涯趨勢-未來履歷說明書的筆
親愛的孩子，即使身陷迷霧中，也要確實認知自己的模樣與價值，雖然妳尚分不清方向，但對自我認知的清晰將散發出光，為妳照亮四周，引領妳前進。
無需羨慕他人．模糊了自己，請以愛與肯定的光重塑妳的模樣。
在上一章有提到區塊鏈主要是一些點到點的交易紀錄，就像我們一般在買東西一樣，要完成一樁交易會有幾個要件：消費者、供應者、第三方見證者、費用以及商品，在區塊鏈上的交易(Web3稱為鑄造Mint)也是如此，這一章就來了解一下這幾個重要角色。
這堂課是前面教過的綜合練習和深入討論。包括更多關於設界線、溝通的重點摘要、辨識情緒和源頭、愛＋焦慮＝控制、問題行為和非暴力溝通：區分『觀察』和『評論』。
踏入Web3剛滿一年不久，其實很多區塊鏈的知識、專有名詞都還不是很懂，網路上的資訊雖然很多，但是大部分都寫的很專業，一個新手要去讀懂很難，我自己也是在這個領域慢慢摸索很久，直到現在我才能粗略的了解網路上的文章在寫什麼，希望能藉由這樣的學習筆記自我消化，也能提供給新手更白話、好理解的Web3知識。
#星期一聊精油
#這篇是在萬聖節當天寫的
一直以為上周末就過完萬聖節，原來今天才是萬聖夜XD那我們就應應景，聊一下驅魔淨化的好夥伴：#桉油醇迷迭香，英文名是蘿絲瑪莉Rosemary。
偏淡的酒色，酒液邊緣略微偏棕色。有草莓、櫻桃等紅色水果香氣，並帶有一點玫瑰花香。水果類型的一類香氣已經不是這隻酒的主要香味，取而代之的是更為明顯的皮革，皮草，以及濕掉的葉子的香氣。酒體輕盈，帶有中高酸度，單寧緊實的感覺仍有些明顯，但平衡感還是不錯的。餘韻中等偏短，有一些濕掉的蘑菇的口感。
「鬧區中的寧靜清香，兆兆茶苑」
台灣人愛喝茶舉世聞名，從老到少不分任何族群，在想喝飲料時的首選都是茶類的飲料，而近年來隨著國人消費能力上升、精緻文化越來越流行，所謂的深入式店家越來越流行，消費者已經不是只在意東西好不好吃、CP值高不高，更在意一個店家整體氛圍與用餐體驗的營造，在意這些食品或飲品有無獨