Stochastic Gradient Descent,隨機梯度下降

更新於 2024/12/04閱讀時間約 1 分鐘


SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。


優點:

1.更新速度快,適合大規模數據。

2.可跳出鞍點或局部極小值。

應用:

1.機器學習模型(如線性迴歸、SVM、深度學習)。

2.優化非凸函數(如神經網絡)。 


raw-image


avatar-img
0會員
21內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Princend的沙龍 的其他內容
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
梯度下降是一種優化演算法,用來最小化損失函數。 透過計算梯度(偏導數),找出參數更新方向。 公式為 θ_(t+1)=θ_t−η⋅∇ J(θ) 圖中的learning rate 為 0.05 可以發現到山谷的時候收斂速度較為緩慢
資料前處理為了避免garbage in, garbage out 除了one-hot encoding , ordinal encoding 還有target encoding 但是有時候算出平均值,會對資料處理沒幫助 (無法區分班級) 那就替換成標準差吧 
輸入層:接收數據,對應特徵值,是網絡的入口。 隱藏層:學習數據的抽象特徵,引入非線性,處理複雜模式。 輸出層:產生結果,將特徵轉換為預測值(regression)或分類(classification)結果。 陳縕儂老師說過 中間的隱藏層通常不會是線性的 如果全部都是線性 那任意交換隱藏層
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
梯度下降是一種優化演算法,用來最小化損失函數。 透過計算梯度(偏導數),找出參數更新方向。 公式為 θ_(t+1)=θ_t−η⋅∇ J(θ) 圖中的learning rate 為 0.05 可以發現到山谷的時候收斂速度較為緩慢
資料前處理為了避免garbage in, garbage out 除了one-hot encoding , ordinal encoding 還有target encoding 但是有時候算出平均值,會對資料處理沒幫助 (無法區分班級) 那就替換成標準差吧 
輸入層:接收數據,對應特徵值,是網絡的入口。 隱藏層:學習數據的抽象特徵,引入非線性,處理複雜模式。 輸出層:產生結果,將特徵轉換為預測值(regression)或分類(classification)結果。 陳縕儂老師說過 中間的隱藏層通常不會是線性的 如果全部都是線性 那任意交換隱藏層
你可能也想看
Google News 追蹤
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
本策略採用台指期五分K的成交量進行判斷是否當日為弱勢盤,當成交量能達到當日一定的量能時,當日順勢向下的盤面機率就會增加,適合空方的順勢盤面。 此策略主要是針對看盤的經驗,將策略轉化為程式進行自動化交易,減少人為的操作,即使沒看盤也能自動化的完成交易。
Thumbnail
本文深入解析成交量與均線的結合應用,包括量價配合原則、均線突破與成交量的關係、成交量萎縮的意義、均線糾結時的成交量變化、高低點的成交量表現,以及均線支撐與成交量的關係。透過這些技巧,投資者可以更全面地掌握市場脈動,提高投資決策的準確性。
Thumbnail
本文深入探討均線的應用技巧,包括均線排列、斜率變化和交叉信號的解讀,強調了均線在判斷市場趨勢中的重要性,並提醒投資者需要結合其他因素做出全面的投資決策。
本文深入淺出地解析均線使用技巧,包括均線排列、股價與均線關係、均線斜率及交叉等重點,幫助投資者掌握趨勢判斷的關鍵,提升投資決策能力。
Thumbnail
本研究使用了盤中逐筆成交資料(Tick-by-tick Data)來進行股票價格的預測,並討論了馬可夫鏈模型和擴散核模型在這方面的應用。研究結果表明,大多數股票的未來三秒價格可以在少於22個狀態中找到,顯示了交易價格的低不確定性。此外,研究還發現波動性更大和價格更高的股票更難以準確預測。
Thumbnail
用多空趨勢線串聯股市金脈簡單來說內建一套投資邏輯,這套系統基於經濟學中的「適應性預期理論」發展而來,主要依賴過去的觀察和經驗來進行投資。這本書橫跨了產業面、基本面、技術面與籌碼面,我覺得下面的重點,你可以思考一下對你的投資有沒有幫助。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
投資成功需掌握趨勢及區間兩種策略的差異,前者追逐主要趨勢,後者把握區間盤整機會。採取分批進場、設置止損等風險控制措施,在不利時切勿勉強,待有利趨勢再進場。提高期望值才是關鍵,除極致報酬,還須最小化資金耗損。
Thumbnail
以下為個人研究心得分享,主要是判斷趨勢用於日內交易(當沖為準),僅供參考,不構成投資建議,當沖有風險一定要注意,該停損停利勿凹單勿貪! 周五盤前公開分享大盤看法,壓力支撐點位和趨勢,馬前砲可自行回測。 周一到周四沒意外的話盤前會在付費專欄更新。 偶爾會有個股分享(權重股為主)。 操作理念
Thumbnail
前陣子被YT演算法推薦了這篇: 點我 大約整理了3個重點: MACD指標本身其實是代表多空強度大小,而非網路上常說的多空訊號。 在一個時間格局中用在小周期較合適。 MACD快線慢線和柱體分離時可以試著作為進場多空訊號。 在這裡先小小科普MACD算法 EMA(n)=(前一日EMA(n) ×
Thumbnail
本文探討了複利效應的重要性,並藉由巴菲特的投資理念,說明如何選擇穩定產生正報酬的資產及長期持有的核心理念。透過定期定額的投資方式,不僅能減少情緒影響,還能持續參與全球股市的發展。此外,文中介紹了使用國泰 Cube App 的便利性及低手續費,幫助投資者簡化投資流程,達成長期穩定增長的財務目標。
Thumbnail
本策略採用台指期五分K的成交量進行判斷是否當日為弱勢盤,當成交量能達到當日一定的量能時,當日順勢向下的盤面機率就會增加,適合空方的順勢盤面。 此策略主要是針對看盤的經驗,將策略轉化為程式進行自動化交易,減少人為的操作,即使沒看盤也能自動化的完成交易。
Thumbnail
本文深入解析成交量與均線的結合應用,包括量價配合原則、均線突破與成交量的關係、成交量萎縮的意義、均線糾結時的成交量變化、高低點的成交量表現,以及均線支撐與成交量的關係。透過這些技巧,投資者可以更全面地掌握市場脈動,提高投資決策的準確性。
Thumbnail
本文深入探討均線的應用技巧,包括均線排列、斜率變化和交叉信號的解讀,強調了均線在判斷市場趨勢中的重要性,並提醒投資者需要結合其他因素做出全面的投資決策。
本文深入淺出地解析均線使用技巧,包括均線排列、股價與均線關係、均線斜率及交叉等重點,幫助投資者掌握趨勢判斷的關鍵,提升投資決策能力。
Thumbnail
本研究使用了盤中逐筆成交資料(Tick-by-tick Data)來進行股票價格的預測,並討論了馬可夫鏈模型和擴散核模型在這方面的應用。研究結果表明,大多數股票的未來三秒價格可以在少於22個狀態中找到,顯示了交易價格的低不確定性。此外,研究還發現波動性更大和價格更高的股票更難以準確預測。
Thumbnail
用多空趨勢線串聯股市金脈簡單來說內建一套投資邏輯,這套系統基於經濟學中的「適應性預期理論」發展而來,主要依賴過去的觀察和經驗來進行投資。這本書橫跨了產業面、基本面、技術面與籌碼面,我覺得下面的重點,你可以思考一下對你的投資有沒有幫助。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
投資成功需掌握趨勢及區間兩種策略的差異,前者追逐主要趨勢,後者把握區間盤整機會。採取分批進場、設置止損等風險控制措施,在不利時切勿勉強,待有利趨勢再進場。提高期望值才是關鍵,除極致報酬,還須最小化資金耗損。
Thumbnail
以下為個人研究心得分享,主要是判斷趨勢用於日內交易(當沖為準),僅供參考,不構成投資建議,當沖有風險一定要注意,該停損停利勿凹單勿貪! 周五盤前公開分享大盤看法,壓力支撐點位和趨勢,馬前砲可自行回測。 周一到周四沒意外的話盤前會在付費專欄更新。 偶爾會有個股分享(權重股為主)。 操作理念
Thumbnail
前陣子被YT演算法推薦了這篇: 點我 大約整理了3個重點: MACD指標本身其實是代表多空強度大小,而非網路上常說的多空訊號。 在一個時間格局中用在小周期較合適。 MACD快線慢線和柱體分離時可以試著作為進場多空訊號。 在這裡先小小科普MACD算法 EMA(n)=(前一日EMA(n) ×