AI進展越快,你是恐懼還是興奮?

更新於 發佈於 閱讀時間約 2 分鐘

自從DeepSeek R1發表後,有「AI教母」之稱的李飛飛博士團隊在上週發表了一篇「s1:simple test- time scaling」的論文,網上有「標題黨」寫著「只要50美元就能訓練出自己的本地大模型」


事實上50美元只是租用雲端算力的部分支出,團隊在微調模型時用了16張的H100 GPU,訓練時長只花了26分鐘,一開始使用了阿里的Qwen2.5-32B-Instruct大模型做預訓練,之後再從收集的5.9萬筆數學、科學與推理題目中嚴格篩選出1000筆資料,讓原先「什麼都會一點」的通用大模型,變成科學、數學、生物、物理、化學等科目的「專家模型」


這樣做的成果是讓整個模型的應用聚焦在某些領域上,並且砍掉不相關的數據以節省計算時間並提升反饋效率,這對於想在不同領域做垂直應用的公司可說是一大福音


但反過來說,如果原來想做的應用沒有自己的特色,只是採取跟這篇論文一樣的方法,那很有可能變成先進團隊的碾壓對象,之前的努力也付之一炬


所有的發展總是風險與機會並存,如何利用機會,小步快跑,不懼風險,可能是我們在這個時代求得生存的關鍵方式

留言
avatar-img
留言分享你的想法!
avatar-img
親閱誠福的沙龍
8會員
187內容數
世界再紛擾 有你就很好 創業過、失敗過、當過上市公司高管,現在最重要的角色是「父親」 一個中年老爸的生活感受分享
親閱誠福的沙龍的其他內容
2025/03/13
這是今天我去醫院做胃鏡檢查時,旁邊護理師耐心的鼓勵,因為十幾年前在某大醫院做過一次胃鏡,那種忍不住的嘔吐感令我印象深刻,那次我只記得旁邊的護理師跟醫生一直重複一句話:「你不要吐,不要吐,吐就沒辦法檢查了」 當時我一邊忍受著痛苦,一邊心裡翻了200個白眼,想著:「那換你坐在這裡我拿胃鏡『捅』你⋯⋯
Thumbnail
2025/03/13
這是今天我去醫院做胃鏡檢查時,旁邊護理師耐心的鼓勵,因為十幾年前在某大醫院做過一次胃鏡,那種忍不住的嘔吐感令我印象深刻,那次我只記得旁邊的護理師跟醫生一直重複一句話:「你不要吐,不要吐,吐就沒辦法檢查了」 當時我一邊忍受著痛苦,一邊心裡翻了200個白眼,想著:「那換你坐在這裡我拿胃鏡『捅』你⋯⋯
Thumbnail
2025/03/11
熱戀中的情侶總是喜歡問彼此愛不愛自己,如果回答了「愛」,又會追問「有多愛」,這是情侶相處中的「送命題」,因為很多時候怎麼回答都無法嚷對方滿意 但愛不愛又豈是言語所能確認?看一個人有多愛你,應該看的是他為你做了什麼,而非說了什麼 這點不只適用在情侶間,家人、父母、孩子、朋友之間其實也是一樣
2025/03/11
熱戀中的情侶總是喜歡問彼此愛不愛自己,如果回答了「愛」,又會追問「有多愛」,這是情侶相處中的「送命題」,因為很多時候怎麼回答都無法嚷對方滿意 但愛不愛又豈是言語所能確認?看一個人有多愛你,應該看的是他為你做了什麼,而非說了什麼 這點不只適用在情侶間,家人、父母、孩子、朋友之間其實也是一樣
2025/03/05
最近三天我的Meta被一篇文章洗版,大意是一位靠著存股方式提前退休的工程師,他認為以他自己的能力,完全可以幫自己的外甥女準備一份「完美」的學習歷程檔案,讓外甥女能順利進入「頂大」的商學院,未來進到大型基金管理數千萬美元的資產,人生從此高枕無憂⋯⋯
Thumbnail
2025/03/05
最近三天我的Meta被一篇文章洗版,大意是一位靠著存股方式提前退休的工程師,他認為以他自己的能力,完全可以幫自己的外甥女準備一份「完美」的學習歷程檔案,讓外甥女能順利進入「頂大」的商學院,未來進到大型基金管理數千萬美元的資產,人生從此高枕無憂⋯⋯
Thumbnail
看更多
你可能也想看
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
Meta重新利用英國用戶貼文內容訓練AI模型|「AI教母」李飛飛創立的AI公司World Labs籌集2.3億美元|Salesforce推出全新AI自主代理套件Agentforce
Thumbnail
Meta重新利用英國用戶貼文內容訓練AI模型|「AI教母」李飛飛創立的AI公司World Labs籌集2.3億美元|Salesforce推出全新AI自主代理套件Agentforce
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
筆記-曲博談AI模型.群聯-24.05.05 https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s *大型語言模型 三個步驟: 1.預訓練,訓練一次要用幾萬顆處理器、訓練時間要1個月,ChatGPT訓練一次的成本為1000萬美金。 2.微調(
Thumbnail
0. 剛發現台灣人工智慧學校侯秘書長是強者我同學夫人,他在聯發科搞AI,買股票找誰大家應該知道。 1. 推動AI融入課程(尤其在人社領域)最大的困難和挑戰在於心態mindset的轉變,要由‘人機(二元)對立’換成‘人機協作’。 2. 絕大部分教學現場的問題來自於1.,比如質疑AI會取代人、著
Thumbnail
0. 剛發現台灣人工智慧學校侯秘書長是強者我同學夫人,他在聯發科搞AI,買股票找誰大家應該知道。 1. 推動AI融入課程(尤其在人社領域)最大的困難和挑戰在於心態mindset的轉變,要由‘人機(二元)對立’換成‘人機協作’。 2. 絕大部分教學現場的問題來自於1.,比如質疑AI會取代人、著
Thumbnail
AI 的應用工具愈來愈多,本篇文章以電影「A.I.創世者」為例,討論了 AI 的人性面以及人性的殘酷一面。同時介紹了書籍『金錢的才能』如何透過投資術實現財富增長,文章引導讀者在科技進步的同時,不要忽略人性的核心價值。
Thumbnail
AI 的應用工具愈來愈多,本篇文章以電影「A.I.創世者」為例,討論了 AI 的人性面以及人性的殘酷一面。同時介紹了書籍『金錢的才能』如何透過投資術實現財富增長,文章引導讀者在科技進步的同時,不要忽略人性的核心價值。
Thumbnail
2023年被各大主流媒體稱為AI元年,GPT4 在國際生物奧林匹亞競賽大放異彩,擊敗 99% 的資優生,無人可敵。擁有人工技術,等於擁有世界頂尖員工,24小時不停歇,為你不斷生出結果。然而,多數人對 AI 基本知識仍不明白,知識差距急速擴大,要想不被AI取代,必須懂AI與活用AI。
Thumbnail
2023年被各大主流媒體稱為AI元年,GPT4 在國際生物奧林匹亞競賽大放異彩,擊敗 99% 的資優生,無人可敵。擁有人工技術,等於擁有世界頂尖員工,24小時不停歇,為你不斷生出結果。然而,多數人對 AI 基本知識仍不明白,知識差距急速擴大,要想不被AI取代,必須懂AI與活用AI。
Thumbnail
整个系列课程内容虽然为自己所写,但是参考了bothub 创始人徐文浩的课程《AI 大模型之美》 人工智能是计算机科学领域中最具前瞻性和影响力的技术之一。它是一种智慧型算法,能够模拟人类的思维过程,处理大量的数据和信息,从而发现隐藏在其中的规律和趋势。人工智能的应用范围非常广泛,包括语音识别、图像识
Thumbnail
整个系列课程内容虽然为自己所写,但是参考了bothub 创始人徐文浩的课程《AI 大模型之美》 人工智能是计算机科学领域中最具前瞻性和影响力的技术之一。它是一种智慧型算法,能够模拟人类的思维过程,处理大量的数据和信息,从而发现隐藏在其中的规律和趋势。人工智能的应用范围非常广泛,包括语音识别、图像识
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
AI浪潮 自從去年ChatGPT後,AI這個本來沉寂已久的話題,瞬間火爆全世界,不論是各家各戶開始瘋狂訓練自己的大語言模型與基礎模型,包含法國的Bloom、Meta的LLaMA、AWS的Titan、Google的LaMDA等等,抑或是開始推出自己的生成式AI工具等等,例如Google的Bard、百
Thumbnail
本文探討大資料對模型的影響。研究指出,大資料量對模型的語法和世界知識理解有顯著影響。固定運算資源下,DeepMind發現適應參數數量更重要,這使模型Chinchilla以較小規模但更多訓練資料,在實際任務中優於Gopher模型。這說明增大模型的規模已不具有太大意義,應增加訓練資料。
Thumbnail
本文探討大資料對模型的影響。研究指出,大資料量對模型的語法和世界知識理解有顯著影響。固定運算資源下,DeepMind發現適應參數數量更重要,這使模型Chinchilla以較小規模但更多訓練資料,在實際任務中優於Gopher模型。這說明增大模型的規模已不具有太大意義,應增加訓練資料。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
本文回答幾個問題:(一) 什麼叫做湧現;(二)湧現是什麼現象;(三)為什麼我們造不出自己的超級 AI。看完後,你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞,像是參數、大型機構與他們模型的名字。
Thumbnail
用了ChatGPT 一段日子後,發現最關鍵的要訣是建模。很多人抱怨說,它如何平庸、寫出來的東西如何索然無味等,其實就是你就是你給了它平庸的東西,它也只能將平庸回之於你。 但身為普通人,我們也只能喂喂它有限的資料,只要不要一直自戀地問ChatGPT自己是阿誰,提出更精準專業的問題,多利用ChatGP
Thumbnail
用了ChatGPT 一段日子後,發現最關鍵的要訣是建模。很多人抱怨說,它如何平庸、寫出來的東西如何索然無味等,其實就是你就是你給了它平庸的東西,它也只能將平庸回之於你。 但身為普通人,我們也只能喂喂它有限的資料,只要不要一直自戀地問ChatGPT自己是阿誰,提出更精準專業的問題,多利用ChatGP
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News