付費限定
訓練小模型進行逐步推導，Orca-2-7B/13B
閱讀時間約 13 分鐘
微軟爸爸的員工發論文教大家如何訓練與評估model，有完整的訓練思路與評估方法，雖然本篇沒有任何獨特的Fine-tune的手法，比較不接地氣，但是仍然可以當成一個好的參考範例，可以從中學到許多評估模型的角度與關鍵指標，改天會進行總結整理。
論文主要成果:
借助逐步推導資料集，Orca-2 7B/13B能夠取得超越70B模型的成果，如下圖所示，能取得這種好成果，歸因於幾個因素的整體考量。
- 小模型直接回答錯誤率高，經由逐步推導資料集的建立，正確率會明顯改善不少
- 某些問題類型，小模型直接回答錯誤率低，inference無須特別標注嚴謹逐步推導
- 某些問題類型，小模型直接回答錯誤率高，inference須特別標注嚴謹逐步推導
- 某些問題類型，大&小模型直接回答錯誤率皆高，inference須特別標注嚴謹逐步推導
以行動支持創作者！付費即可解鎖
本篇內容共 5376 字、0
則留言，僅發佈於人工智慧宇宙你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
96會員
128內容數
帶你用上帝視角，針對市面上具有高度價值的影片/論文/書籍，用東方取象，與西方邏輯辯證的角度同時出發，跟著我一起來探討宇宙萬事萬物的本質，隨時隨地都可以來一場說走就走的思維旅行。作者在台積電 / 聯發科等科技產業有累計10年的資歷，近期對於人工智慧，東方易經，西方辯證邏輯，還有佛法向內求有深度興趣。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
身在台灣，某些設計總是被批評是「中華民國美學」，或是更慘烈一點，被稱之為美工毫無美感的視覺呈現。
閱讀漢寶德《談如何培養美感》後，解開我不少疑惑。
此書用較為實際的方式，講述如何培養美感，本書有幾個方法我個人很受用，與大家分享，共同提升美感。
與其不斷要求自閉症者專心在繪本，不如用小遊戲來訓練，還比較省事多。
只是，需要用詞句和語調做輔助。
小遊戲１：藏寶物
這小遊戲，需要暖身。
因為，要先把自閉症者的〝目光〞吸引。
剛開始，可以先用自閉症者具有吸引力的物品，以短時間的徘徊，到自閉症者的目光不斷持續在感興趣的物品。
接著，為了避免過度依賴
學校中有很多好玩的遊具，也是孩子們最喜歡玩的活動。所以在廣場中，會看到孩子們開心遊玩的身影。但老師也有觀察到，在孩子們玩完這些遊具之後，會忘了把它們帶回屬於它們的家。所以，在星期一的早上，老師帶著孩子們一起在校園中散步，順便再認識一次這些物品應該回到哪裡，並如何整齊地擺放好。
國小老師林怡辰老師寫的這本《從讀到寫》。怡辰老師文筆流暢、敘事生動、而且有豐富的閱讀推廣及寫作教學經驗，幾乎沒有引用理論，使得這本書並不難讀，裡面夾雜了大量的人生故事都很引人入勝，而且所開的分齡閱讀書單、所談的教學方法都很棒。
「人是很複雜的生物，經歷的事情實在太多，而我們是沒可能可以經歷所有個案經驗的事。如何作出同理、訓練自己的共感和敏銳度，嘗試去看電影、看小說、聽歌吧。」
每一套電影、每一本小說、每一首歌曲都在敘述和描繪著一個具體和具有內在情感的故事。
農曆新年快到了，家家戶戶忙得團團轉，你們家開始大掃除了嗎？🧹
小寶貝是家中的一份子，讓孩子加入大掃除團隊也是理所當然～
孩子做家事不只是幫忙辛苦的爸媽，更是自身學習的大好機會😄
藉此訓練小朋友的發展能力、生活技能甚至可以獲得不少成就感呢！
與其讓孩子在旁邊觀看，不如分配一些簡單的工作，讓他一起打
訓練的目的不是追求器材或健檢報告上的數字，
而是真正改善生活品質，從事自己喜歡的運動，做喜歡的事
專業運動訓練平台「山姆伯伯工作坊」
創辦人梁友瑋（山姆伯伯）首部著作！
透過系統化的功能性強膝訓練，有效預防、改善膝蓋疼痛不適，增強身體機能，從日常生活到運動競技都能更輕鬆、不疼痛、不受傷！
想跟大家分享訓練鸚鵡洗澡的方式。之前用寶特瓶裝水噴霧器隔籠噴水，牠們嚇到在籠子裡衝撞，現在改成每天放風時，擺一盆水給牠們洗。果然不同容器有差。那我再放點會飄的玩具試試？
立達啟能訓練中心,這是什麼東東??
在我尚未進入這家社會機構前，我從不曾聽過這家機構，低調，就是立達的特色，它是一家在民國70年就存在的機構,甚至是中台灣最早成立的心智障礙青年職業訓練與就業輔導機構...
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
身在台灣，某些設計總是被批評是「中華民國美學」，或是更慘烈一點，被稱之為美工毫無美感的視覺呈現。
閱讀漢寶德《談如何培養美感》後，解開我不少疑惑。
此書用較為實際的方式，講述如何培養美感，本書有幾個方法我個人很受用，與大家分享，共同提升美感。
與其不斷要求自閉症者專心在繪本，不如用小遊戲來訓練，還比較省事多。
只是，需要用詞句和語調做輔助。
小遊戲１：藏寶物
這小遊戲，需要暖身。
因為，要先把自閉症者的〝目光〞吸引。
剛開始，可以先用自閉症者具有吸引力的物品，以短時間的徘徊，到自閉症者的目光不斷持續在感興趣的物品。
接著，為了避免過度依賴
學校中有很多好玩的遊具，也是孩子們最喜歡玩的活動。所以在廣場中，會看到孩子們開心遊玩的身影。但老師也有觀察到，在孩子們玩完這些遊具之後，會忘了把它們帶回屬於它們的家。所以，在星期一的早上，老師帶著孩子們一起在校園中散步，順便再認識一次這些物品應該回到哪裡，並如何整齊地擺放好。
國小老師林怡辰老師寫的這本《從讀到寫》。怡辰老師文筆流暢、敘事生動、而且有豐富的閱讀推廣及寫作教學經驗，幾乎沒有引用理論，使得這本書並不難讀，裡面夾雜了大量的人生故事都很引人入勝，而且所開的分齡閱讀書單、所談的教學方法都很棒。
「人是很複雜的生物，經歷的事情實在太多，而我們是沒可能可以經歷所有個案經驗的事。如何作出同理、訓練自己的共感和敏銳度，嘗試去看電影、看小說、聽歌吧。」
每一套電影、每一本小說、每一首歌曲都在敘述和描繪著一個具體和具有內在情感的故事。
農曆新年快到了，家家戶戶忙得團團轉，你們家開始大掃除了嗎？🧹
小寶貝是家中的一份子，讓孩子加入大掃除團隊也是理所當然～
孩子做家事不只是幫忙辛苦的爸媽，更是自身學習的大好機會😄
藉此訓練小朋友的發展能力、生活技能甚至可以獲得不少成就感呢！
與其讓孩子在旁邊觀看，不如分配一些簡單的工作，讓他一起打
訓練的目的不是追求器材或健檢報告上的數字，
而是真正改善生活品質，從事自己喜歡的運動，做喜歡的事
專業運動訓練平台「山姆伯伯工作坊」
創辦人梁友瑋（山姆伯伯）首部著作！
透過系統化的功能性強膝訓練，有效預防、改善膝蓋疼痛不適，增強身體機能，從日常生活到運動競技都能更輕鬆、不疼痛、不受傷！
想跟大家分享訓練鸚鵡洗澡的方式。之前用寶特瓶裝水噴霧器隔籠噴水，牠們嚇到在籠子裡衝撞，現在改成每天放風時，擺一盆水給牠們洗。果然不同容器有差。那我再放點會飄的玩具試試？
立達啟能訓練中心,這是什麼東東??
在我尚未進入這家社會機構前，我從不曾聽過這家機構，低調，就是立達的特色，它是一家在民國70年就存在的機構,甚至是中台灣最早成立的心智障礙青年職業訓練與就業輔導機構...