Cross-Entropy

閱讀時間約 1 分鐘

交叉熵(Cross-Entropy)是一種用於評估模型預測與真實標籤之間差異的損失函數,常見於分類任務。

其核心是衡量預測分佈與目標分佈的相似程度,數值越小代表預測越準確。

當模型的預測與真實標籤完全不符 , y hat趨近 0 時 ,log(y hat) 會趨近負無窮,導致交叉熵損失非常大。

因此,最大值取決於預測錯誤的程度和樣本數量。交叉熵適合用於多分類問題,能有效懲罰錯誤預測,幫助模型快速收斂。 適合用在 AI、機器學習等領域的關鍵技術! 🌟 


raw-image


avatar-img
0會員
33內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Princend的沙龍 的其他內容
正規化(Regularization)是機器學習中用來防止模型過擬合的重要技術。 1️⃣L1 正規化(LASSO):加總參數絕對值,鼓勵稀疏性,適合特徵選擇。 2️⃣L2 正規化(Ridge):加總參數平方值,抑制大參數,提升穩定性。 甚至還有混合體 Elastic Net (L1+L2)
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
MAE(Mean Absolute Error) 平均絕對誤差 又被稱為 L1 損失 常被用於 評估迴歸模型的準確性 對異常值穩定性比較好 數值越低代表模型越好
橫軸代表輸入值 (z) 縱軸代表輸出值 (J(z)) 當輸入值小於或等於閾值 κ 時,函數輸出為 0 當輸入值大於閾值 κ 時,函數輸出等於輸入值本身。 閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮,而其他特徵則會被忽略(稀疏性) google的gemma2模型有應用到此act
1.從提案分布 q(x) 中抽樣候選點 x。 2.隨機生成 y∼U(0,c⋅q(x))。 3.若 y ≤ p(x),接受點 x;否則拒絕。
正規化(Regularization)是機器學習中用來防止模型過擬合的重要技術。 1️⃣L1 正規化(LASSO):加總參數絕對值,鼓勵稀疏性,適合特徵選擇。 2️⃣L2 正規化(Ridge):加總參數平方值,抑制大參數,提升穩定性。 甚至還有混合體 Elastic Net (L1+L2)
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
MAE(Mean Absolute Error) 平均絕對誤差 又被稱為 L1 損失 常被用於 評估迴歸模型的準確性 對異常值穩定性比較好 數值越低代表模型越好
橫軸代表輸入值 (z) 縱軸代表輸出值 (J(z)) 當輸入值小於或等於閾值 κ 時,函數輸出為 0 當輸入值大於閾值 κ 時,函數輸出等於輸入值本身。 閾值 κ意味著只有超過閾值的輸入特徵才會被模型考慮,而其他特徵則會被忽略(稀疏性) google的gemma2模型有應用到此act
1.從提案分布 q(x) 中抽樣候選點 x。 2.隨機生成 y∼U(0,c⋅q(x))。 3.若 y ≤ p(x),接受點 x;否則拒絕。
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
相信大家現在都有在使用網銀的習慣 以前因為打工和工作的關係,我辦過的網銀少說也有5、6間,可以說在使用網銀App方面我可以算是個老手了。 最近受邀參加國泰世華CUBE App的使用測試 嘿嘿~殊不知我本身就有在使用他們的App,所以這次的受測根本可以說是得心應手
Thumbnail
本文深入探討均線的應用技巧,包括均線排列、斜率變化和交叉信號的解讀,強調了均線在判斷市場趨勢中的重要性,並提醒投資者需要結合其他因素做出全面的投資決策。
Thumbnail
急漲急跌走勢在【頂尖操盤手的養成計畫】一書中被歸類為「價格不平衡區域」,短期內該區域的價格成交量極少,且價格變動迅速。在這篇文章中,我將介紹處此種價格不平衡的區域在轉折時的策略運用。
Thumbnail
用多空趨勢線串聯股市金脈簡單來說內建一套投資邏輯,這套系統基於經濟學中的「適應性預期理論」發展而來,主要依賴過去的觀察和經驗來進行投資。這本書橫跨了產業面、基本面、技術面與籌碼面,我覺得下面的重點,你可以思考一下對你的投資有沒有幫助。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
本文介紹了各種技術指標的應用和相關建議,包括平均真實價格範圍、熊力量指標、牛力量指標、商品通道指數、DeMarker、力量指數、移動平均匯聚擴散指標、動量指標、波動OSC移動平均線、相對強弱指數、相對活力指數、隨機指數、威廉指數等。建議以中文關鍵字為主要標籤。
Thumbnail
在上一篇中,我們在模型探討隨機截距交叉延宕在Extension 2中,可以使用的分類變量進行Multiple group分析。接下來,擴展 RI-CLPM 的另一種方法是為每個使用多個指標測量,本文將簡介兩種Multiple indicators模型。
什麼叫均值回歸,要如何搭配股市操作,可以參考作者的方法。
Thumbnail
透過探討指數級增長、常態分布與冪律分布在選擇行業時的應用,強調了分析邊際成本和市場分布特性的重要性。作者挑戰傳統追隨者思維,提倡創新和尋找獨特優勢,並透過服務業例子展示如何應用這些底層邏輯進行前瞻性決策,幫助讀者識別增長機會,制定成功策略。
Thumbnail
以下為個人研究心得分享,主要是判斷趨勢用於日內交易(當沖為準),僅供參考,不構成投資建議,當沖有風險一定要注意,該停損停利勿凹單勿貪! 周五盤前公開分享大盤看法,壓力支撐點位和趨勢,馬前砲可自行回測。 周一到周四沒意外的話盤前會在付費專欄更新。 偶爾會有個股分享(權重股為主)。 操作理念
Thumbnail
交叉延宕效果(CLPM)常常模式適配不佳,主因缺乏考量個別差異。 隨機截距交叉延宕模式(RI-CLPM)是傳統的交叉延宕模式的擴展,具有更好的模式適配度。本文章簡介RI-CLPM定義和CLPM的差異。 交叉延宕效果(CLPM)最大的局限性在於它混合
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
相信大家現在都有在使用網銀的習慣 以前因為打工和工作的關係,我辦過的網銀少說也有5、6間,可以說在使用網銀App方面我可以算是個老手了。 最近受邀參加國泰世華CUBE App的使用測試 嘿嘿~殊不知我本身就有在使用他們的App,所以這次的受測根本可以說是得心應手
Thumbnail
本文深入探討均線的應用技巧,包括均線排列、斜率變化和交叉信號的解讀,強調了均線在判斷市場趨勢中的重要性,並提醒投資者需要結合其他因素做出全面的投資決策。
Thumbnail
急漲急跌走勢在【頂尖操盤手的養成計畫】一書中被歸類為「價格不平衡區域」,短期內該區域的價格成交量極少,且價格變動迅速。在這篇文章中,我將介紹處此種價格不平衡的區域在轉折時的策略運用。
Thumbnail
用多空趨勢線串聯股市金脈簡單來說內建一套投資邏輯,這套系統基於經濟學中的「適應性預期理論」發展而來,主要依賴過去的觀察和經驗來進行投資。這本書橫跨了產業面、基本面、技術面與籌碼面,我覺得下面的重點,你可以思考一下對你的投資有沒有幫助。
Thumbnail
技術指標源自統計學原理,反映市場變化的概率分佈,而非預測工具。本文了解指標背後邏輯有利活學活用,甚至自行改良創新。
Thumbnail
本文介紹了各種技術指標的應用和相關建議,包括平均真實價格範圍、熊力量指標、牛力量指標、商品通道指數、DeMarker、力量指數、移動平均匯聚擴散指標、動量指標、波動OSC移動平均線、相對強弱指數、相對活力指數、隨機指數、威廉指數等。建議以中文關鍵字為主要標籤。
Thumbnail
在上一篇中,我們在模型探討隨機截距交叉延宕在Extension 2中,可以使用的分類變量進行Multiple group分析。接下來,擴展 RI-CLPM 的另一種方法是為每個使用多個指標測量,本文將簡介兩種Multiple indicators模型。
什麼叫均值回歸,要如何搭配股市操作,可以參考作者的方法。
Thumbnail
透過探討指數級增長、常態分布與冪律分布在選擇行業時的應用,強調了分析邊際成本和市場分布特性的重要性。作者挑戰傳統追隨者思維,提倡創新和尋找獨特優勢,並透過服務業例子展示如何應用這些底層邏輯進行前瞻性決策,幫助讀者識別增長機會,制定成功策略。
Thumbnail
以下為個人研究心得分享,主要是判斷趨勢用於日內交易(當沖為準),僅供參考,不構成投資建議,當沖有風險一定要注意,該停損停利勿凹單勿貪! 周五盤前公開分享大盤看法,壓力支撐點位和趨勢,馬前砲可自行回測。 周一到周四沒意外的話盤前會在付費專欄更新。 偶爾會有個股分享(權重股為主)。 操作理念
Thumbnail
交叉延宕效果(CLPM)常常模式適配不佳,主因缺乏考量個別差異。 隨機截距交叉延宕模式(RI-CLPM)是傳統的交叉延宕模式的擴展,具有更好的模式適配度。本文章簡介RI-CLPM定義和CLPM的差異。 交叉延宕效果(CLPM)最大的局限性在於它混合