Saddle point
更新於 發佈於 閱讀時間約 1 分鐘
saddle point 鞍點
圖中函數為 z=x^2-y^2
既不是局部極小值，也不是局部極大值
在鞍點，梯度向量的大小趨近於零，導致參數更新的幅度變得極小，算法可能「卡住」以下有幾種方法可改進
1.使用 隨機梯度下降（SGD）
2.引入「動量」Momentum 概念，例如adam
3.Hessian 矩陣判斷臨界點
4.動態調整學習率
0會員
33內容數
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
1.2.6 熱的傳導
1.2.7 十九世紀的尾聲
一
函數概念的發展不可能終結，踏入公元廿一世紀，數學
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5弦的振動
八
在關於振動弦通解的這場論爭之中，函數概念默默地向兩個方面推前了一大步。
一方面，特朗貝爾和歐拉等擴大了
使用向量來處理問題有很多好處，其中一個好處，就是可以減少變數的數量。在這節中，會用一個簡單的例子來介紹，使用向量跟不使用向量，對變數的數量會有什麼樣的影響。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5弦的振動
七
雖然論爭沒有得出任何定論，但對函數概念的演化卻影嚮頗深。
在這次歷時多年的論爭中，函數概念得以擴大而包括
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
五
特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。
但這時的歐拉宣稱函數不必是正常意義下的
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
三
1755年，歐拉改變了主意，在《微分學原理》(Institutiones calculi differen
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
三
有些讀者大概都知道，微積分學有兩個分科﹕一為微分學 (differential calculus)，一為積分學 (integ
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
1.2.6 熱的傳導
1.2.7 十九世紀的尾聲
一
函數概念的發展不可能終結，踏入公元廿一世紀，數學
這一節談的是向量的定義，以及如何運用向量來建立模擬物體運動時，關於位置和速度間的關係式。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5弦的振動
八
在關於振動弦通解的這場論爭之中，函數概念默默地向兩個方面推前了一大步。
一方面，特朗貝爾和歐拉等擴大了
使用向量來處理問題有很多好處，其中一個好處，就是可以減少變數的數量。在這節中，會用一個簡單的例子來介紹，使用向量跟不使用向量，對變數的數量會有什麼樣的影響。
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5弦的振動
七
雖然論爭沒有得出任何定論，但對函數概念的演化卻影嚮頗深。
在這次歷時多年的論爭中，函數概念得以擴大而包括
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
五
特朗貝爾依循當時數學界對函數的普遍理解，視「函數」為任一分析式。
但這時的歐拉宣稱函數不必是正常意義下的
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
1.2.5 弦的振動
三
1755年，歐拉改變了主意，在《微分學原理》(Institutiones calculi differen
1.0 從函數到函算語法
1.2 函數概念小史
1.2.1 中譯的來源
1.2.2 一個速度問題
1.2.3 幾何的方法
1.2.4 微積分的記法
三
有些讀者大概都知道，微積分學有兩個分科﹕一為微分學 (differential calculus)，一為積分學 (integ