類神經網路訓練 訓練機器分類與Cross-entropy

閱讀時間約 1 分鐘

Classification 可以使用Regression來實作嗎?

我們可以透過使用one-hot vector表示不同的類別。假設有三個類別我們需要區分,這時候我們不使用單純的數字1, 2, 3,而是改用向量[1 0 0]T, [0 1 0]T, [0 0 1]T,藉此就能避免掉1與2比較相似,1與3比較不相似的問題。


但要如何從原本輸出一個數值,進化到輸出三個數值形成向量呢?

透過乘上不同的Weight和加上不同的bias就能得到一個數值,那同樣如果要得到三個數值形成向量,就找出三組W與Bias。

但除此之外,我們還會額外通過softmax的方式,得到最終的y'值。目的是為了更方便與類別向量做比較,類別向量只有1跟0的數字,softmax可以做到normalize的過程,最後就會得到0~1的數值。

計算方法: 將y值取exp之後,除以所有exp y值的總和。(像是比較權重?!)

y' = softmax(y) = exp(yi) / exp(y1)+exp(y2)+exp(y3)


Cross-entropy

雖然在計算loss時可以透過MSE,但大多數在分類的資料訓練時都會利用Cross-entropy來計算類別的loss,會更加適合。-> 有時候MSE會training不起來,但Cross entropy的斜率會比較平均。

Cross entropy計算loss的方法:L(y') = -Σŷilnyi'

raw-image


    1會員
    37內容數
    留言0
    查看全部
    發表第一個留言支持創作者!
    dab戴伯的沙龍 的其他內容
    瞭解梯度下降算法中的學習速率調整,包括為什麼需要動態的學習速率、Root Mean Square、RMSProp、最常用的optimization策略Adam,以及如何進行Learning rate Scheduling。
    本文將介紹batch的定義與其在機器學習中的作用,以及不同batch size 的影響。同時也會講解Momentum動量在機器學習中的重要性。透過本文,您將清楚地瞭解batch、batch size和Momentum動量的概念以及其對機器學習的影響。
    之前有提到有時我們在微分之後會得到gradient = 0的值,就以為我們已經找到最小值,但其實它只是local minima。 那這一節主要想跟大家分享我們要怎麼區分是不是Local Minima。
    這篇文章介紹瞭如何使用sigmoid函數來解決函數過於簡單導致的模型偏差問題,並透過尋找函數和參數來逼近precise linear curve。另外,也講述瞭如何尋找讓損失函數最小的參數以及使用batch和反覆進行Sigmoid的方法。
    機器學習是什麼? 簡單來說,機器學習就是訓練機器尋找Function的一段過程,而這個Function可以幫助我們解決我們遇到的問題,或是幫助我們
    static 關鍵字主要用於管理記憶體,可用在variables, methods, blocks, nested classed。加上static關鍵字的物件,會在啟動程式當下就會賦予記憶體位置給此物件,後續無論實例化多少次,記憶體的位置都相同。 以class舉例,static class 與
    瞭解梯度下降算法中的學習速率調整,包括為什麼需要動態的學習速率、Root Mean Square、RMSProp、最常用的optimization策略Adam,以及如何進行Learning rate Scheduling。
    本文將介紹batch的定義與其在機器學習中的作用,以及不同batch size 的影響。同時也會講解Momentum動量在機器學習中的重要性。透過本文,您將清楚地瞭解batch、batch size和Momentum動量的概念以及其對機器學習的影響。
    之前有提到有時我們在微分之後會得到gradient = 0的值,就以為我們已經找到最小值,但其實它只是local minima。 那這一節主要想跟大家分享我們要怎麼區分是不是Local Minima。
    這篇文章介紹瞭如何使用sigmoid函數來解決函數過於簡單導致的模型偏差問題,並透過尋找函數和參數來逼近precise linear curve。另外,也講述瞭如何尋找讓損失函數最小的參數以及使用batch和反覆進行Sigmoid的方法。
    機器學習是什麼? 簡單來說,機器學習就是訓練機器尋找Function的一段過程,而這個Function可以幫助我們解決我們遇到的問題,或是幫助我們
    static 關鍵字主要用於管理記憶體,可用在variables, methods, blocks, nested classed。加上static關鍵字的物件,會在啟動程式當下就會賦予記憶體位置給此物件,後續無論實例化多少次,記憶體的位置都相同。 以class舉例,static class 與
    你可能也想看
    Google News 追蹤
    Thumbnail
    這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
    Thumbnail
    11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
    Thumbnail
    Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
    Thumbnail
    今年金鐘獎入圍名單日前公布,其中戲劇類的範疇對向來自封「台劇大使」的我來說,更是全情投入在為喜歡的「角色」或演員集氣。但獎項名額就是那麼多,總是會有許多遺憾,這篇就來談談我心中的幾個遺珠,單純以一個觀眾的角度,並非專業劇評,如果你有其他想法也歡迎留言一起討論。 姚淳耀《我願意》:姚淳耀在《我願意》
    精緻澱粉是什麼 精緻澱粉是現代人飲食中非常普遍的一種食物成分。然而,長期以來,關於精緻澱粉的食用對身體健康的影響一直存在爭議。本文旨在介紹精緻澱粉的形成、種類、影響以及與非精緻澱粉的比較,以幫助讀者更好地了解這一食物成分。 精緻澱粉的形成 精緻澱粉是由天然的澱粉經過加工而成的。在加工過程中,澱粉的結
    Thumbnail
    台積電是台灣的護國神山,更狂的是,它是全世界主要國家的國防戰略的爭取夥伴。美總統拜登出面,APPLE庫克出面,MSFT出面。Samsuang 與Intel 多麼怕它。
    Thumbnail
    這裡先整理一下前面所談的,關於一人公司常出現的幾個挑戰: 上述這些挑戰是實務面可能會遇到的情況,這篇則會談論另外一些面向與因素。這些因素可以概略地分成幾點: 通常來講,這幾種情況也是我們會特別容易在工作中感到疲累的情況。在這篇中,我會先試著談論前三種因素。 第三種是有別於上兩者的另一種陷阱。
    Thumbnail
    金錢觀是個很有趣的東西,有些人非常富有卻很小氣吝嗇,有些人雖然貧窮,卻很敢大把花錢,想更深入了解自己的金錢觀嗎?最近日網michill就有一則心理測驗,可以透過選擇喜歡的水果,探究你的金錢觀與價值觀,快來一起看看吧! Q:現在來到農場,你最想摘哪一種水果呢? A: 1.櫻桃 2.草莓 3.奇異果 4
    Thumbnail
    自從深度學習於2012年開始受到關注後,全世界有非常多的專家學者致力於改良它,也因此造就了許多的創新以及突破。今天我們就來談談深度學習近幾年來一個非常熱門的新主題”生成對抗網路”GAN(*),這是2014年由當時為蒙特婁大學博士生的Ian Goodfellow所提出之類神經網路。
    Thumbnail
    這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
    Thumbnail
    本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
    Thumbnail
    寫文章寫小說,要下功夫,是真的,不努力不行的,但所謂努力究竟是哪一種努力呢? 許多許多年之後,那次經驗始終是我在理解各種形式的創作,遇到與人有理說不清的憤恨,或是反省自己時,重要的一次神諭之夜......
    Thumbnail
    在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。
    Thumbnail
    這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
    Thumbnail
    11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
    Thumbnail
    Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
    Thumbnail
    今年金鐘獎入圍名單日前公布,其中戲劇類的範疇對向來自封「台劇大使」的我來說,更是全情投入在為喜歡的「角色」或演員集氣。但獎項名額就是那麼多,總是會有許多遺憾,這篇就來談談我心中的幾個遺珠,單純以一個觀眾的角度,並非專業劇評,如果你有其他想法也歡迎留言一起討論。 姚淳耀《我願意》:姚淳耀在《我願意》
    精緻澱粉是什麼 精緻澱粉是現代人飲食中非常普遍的一種食物成分。然而,長期以來,關於精緻澱粉的食用對身體健康的影響一直存在爭議。本文旨在介紹精緻澱粉的形成、種類、影響以及與非精緻澱粉的比較,以幫助讀者更好地了解這一食物成分。 精緻澱粉的形成 精緻澱粉是由天然的澱粉經過加工而成的。在加工過程中,澱粉的結
    Thumbnail
    台積電是台灣的護國神山,更狂的是,它是全世界主要國家的國防戰略的爭取夥伴。美總統拜登出面,APPLE庫克出面,MSFT出面。Samsuang 與Intel 多麼怕它。
    Thumbnail
    這裡先整理一下前面所談的,關於一人公司常出現的幾個挑戰: 上述這些挑戰是實務面可能會遇到的情況,這篇則會談論另外一些面向與因素。這些因素可以概略地分成幾點: 通常來講,這幾種情況也是我們會特別容易在工作中感到疲累的情況。在這篇中,我會先試著談論前三種因素。 第三種是有別於上兩者的另一種陷阱。
    Thumbnail
    金錢觀是個很有趣的東西,有些人非常富有卻很小氣吝嗇,有些人雖然貧窮,卻很敢大把花錢,想更深入了解自己的金錢觀嗎?最近日網michill就有一則心理測驗,可以透過選擇喜歡的水果,探究你的金錢觀與價值觀,快來一起看看吧! Q:現在來到農場,你最想摘哪一種水果呢? A: 1.櫻桃 2.草莓 3.奇異果 4
    Thumbnail
    自從深度學習於2012年開始受到關注後,全世界有非常多的專家學者致力於改良它,也因此造就了許多的創新以及突破。今天我們就來談談深度學習近幾年來一個非常熱門的新主題”生成對抗網路”GAN(*),這是2014年由當時為蒙特婁大學博士生的Ian Goodfellow所提出之類神經網路。
    Thumbnail
    這篇文章從類神經網路的起源,也就是單神經元的感知器。簡單的感知器迭代演算法使單神經元可以學習,但卻無法學習超過非線性,如 XOR 的資料分布。另外,本文還介紹了 Logistic regression,藉由透過非線性轉換來使線性輸出近似於機率分佈。最後則以一場大師賭局結束(SVM vs NN)。
    Thumbnail
    本文提到如何以類神經網路為主的深度學習方法,來進行物體偵測。文中包括基礎的物體偵測簡介:如影像問題分類,影像處理和傳統非類神經網路為主的物體偵測方法。這些傳統方法,仍可以在類神經網路的方法中找到其應用。最後簡略敘述當前使用深度卷積網路作為物體偵測的主要研究方向,並對學術界常用的訓練資料集做分析介紹。
    Thumbnail
    寫文章寫小說,要下功夫,是真的,不努力不行的,但所謂努力究竟是哪一種努力呢? 許多許多年之後,那次經驗始終是我在理解各種形式的創作,遇到與人有理說不清的憤恨,或是反省自己時,重要的一次神諭之夜......
    Thumbnail
    在此篇文章終將會簡述機械學習的發展,簡介深度學習以 Sequence to Sequence 為架構,並在多場機械翻譯的學術年會,獲得成績斐然的結果。在本文中,會粗略介紹 Sequence to Sequence 架構並以 google 在 2017 對Seq2Seq 所進行的大規模參數。