Stochastic Gradient Descent,隨機梯度下降

更新於 發佈於 閱讀時間約 1 分鐘


SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。


優點:

1.更新速度快,適合大規模數據。

2.可跳出鞍點或局部極小值。

應用:

1.機器學習模型(如線性迴歸、SVM、深度學習)。

2.優化非凸函數(如神經網絡)。 


raw-image


留言
avatar-img
留言分享你的想法!
avatar-img
Princend的沙龍
0會員
34內容數
Princend的沙龍的其他內容
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2025/01/26
這本書旨在幫助創作者分享他們的過程並與受眾建立聯繫,而非僅僅是推銷自己。 ## 第一章:你不需要是個天才 * **創造力不只是天賦,而是一種運作方式** 。 * 不要相信「孤獨的天才」神話,偉大的作品往往來自於一個互相支持、彼此學習的「群體」(**scenius**)
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/31
今年嘗試往不同領域去學習 甚至裸辭參加AI職訓班 雖然成長的幅度沒有想像的那麼好 但是至少是有成長的 期待未來的我 能夠持續學習 達到心中所想的目標
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
2024/12/25
馬可夫鍊(Markov Chain) 是一種數學模型,用來描述一個系統在不同狀態之間的轉移過程,特點是未來的狀態只取決於當前狀態,而與過去的狀態無關。這種性質稱為馬可夫性質,即「無記憶性」。馬可夫鍊常用於統計學、機器學習、經濟學、生物學等領域。
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
Thumbnail
SGD(Stochastic Gradient Descent,隨機梯度下降) 每次迭代僅使用一小部分數據,通常是一個樣本或一個小批次(minibatch,要平均)來計算梯度,從而更新模型參數。 優點: 1.更新速度快,適合大規模數據。 2.可跳出鞍點或局部極小值。 應用:
Thumbnail
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
Thumbnail
saddle point 鞍點 圖中函數為 z=x^2-y^2 既不是局部極小值,也不是局部極大值 在鞍點,梯度向量的大小趨近於零,導致參數更新的幅度變得極小,算法可能「卡住」以下有幾種方法可改進 1.使用 隨機梯度下降(SGD) 2.引入「動量」Momentum 概念,例如adam
Thumbnail
Standard Deviation Projections(SDP)是一項相當好用的價位計算技巧,利用PO3的操縱段來當作基數,計算預期價格出現阻力或扭轉的位置。
Thumbnail
Standard Deviation Projections(SDP)是一項相當好用的價位計算技巧,利用PO3的操縱段來當作基數,計算預期價格出現阻力或扭轉的位置。
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
Thumbnail
每日『市場指數』能快速判斷短中期趨勢方向!透過量化權重計算美股、台股、加密貨幣的短中期趨勢概況,簡化你的投資決策時間,請注意量化數據都是概率性不是絕對,長期的大賺小賠才是王道,追蹤我讓投資比呼吸還簡單!
Thumbnail
2022年一開始先來個大漲,忽然又來個大跌,如果說透過價值投資的朋友,可能會來不及反應,每種投資方式都有搭配其時間週期,也因此找尋自己的頻率再搜尋搭配的選股因子,才能有效創造自己投資策略的屬性,而各項因子中,短,中期都能運用到的,首推技術分析,而今日就是在幫大家回顧一下相關內容。
Thumbnail
2022年一開始先來個大漲,忽然又來個大跌,如果說透過價值投資的朋友,可能會來不及反應,每種投資方式都有搭配其時間週期,也因此找尋自己的頻率再搜尋搭配的選股因子,才能有效創造自己投資策略的屬性,而各項因子中,短,中期都能運用到的,首推技術分析,而今日就是在幫大家回顧一下相關內容。
Thumbnail
均線策略,總能夠跨商品、跨週期,甚至歷久不衰,還能以一為多變化萬千。
Thumbnail
均線策略,總能夠跨商品、跨週期,甚至歷久不衰,還能以一為多變化萬千。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News