The Nature of Code閱讀心得與Python實作:10.3 Putting the "Network"..

更新 發佈閱讀 4 分鐘
這一節的標題是
10.3 Putting the "Network" in Neural Network
因為方格子標題字數限制,所以沒完整顯現

單一一個感知器雖然能解一些問題,但能解的問題範圍極其有限。說得更精確一點,單一一個感知器,就只能解「線性可分」(linearly separable)的問題。

什麼是線性可分呢?簡單來說,如果一個資料集是線性可分的,那就表示可以用一條直線或一個超平面將資料點區分為兩類。先前介紹感知器時所用的水生、旱生植物資料集,就是線性可分的;因為可以用一條直線將資料點區分為水生植物及旱生植物兩個部分。另外,邏輯運算中的AND及OR,也是線性可分的問題,因為它們的真值表可以用一條直線區分成T及F兩部分。以input1 AND input2來說,四種輸入方式為(input1, input2) = (T, T)、(T, F)、(F, T)、(F, F),除了(T, T)的輸出為T之外,其他輸入的輸出都是F,所以根據輸出的值,可以用一條直線把四個輸入值的點區分成兩部分。至於OR,除了(F, F)的輸出是F之外,其他的輸出都是T,同樣也可以根據輸出的值,用一條直線將四個輸入值的點區分成兩部分。畫圖來看會更清楚一些:

raw-image

在線性可分的問題之外,還有一種非線性可分(nonlinearly separable)的問題。非線性可分的資料集沒辦法用直線或超平面將資料點區分為兩類,而就只能用複雜的曲線來達到分類的目的。

非線性可分問題最簡單的例子之一是XOR (exclusive or)。要將XOR的真值表區分為T及F兩部分,用一條直線辦不到,非得用曲線不可;如下圖:

raw-image

單一一個感知器只能解線性可分的問題,那碰到像XOR這種非線性可分的問題時,該怎麼辦呢?

俗話說,人多好辦事、三個臭皮匠勝過一個諸葛亮,一個不行,那就多用幾個唄。原書提到,因為XOR運算等價於(OR) AND (NOT AND),而OR及NOT AND都是線性可分的,所以可以結合兩個感知器,一個處理OR、一個處理NOT AND,這樣就可以解決XOR運算的問題了。不過,實際在做的時候,應該要用三個感知器才夠;第三個感知器要用來處理AND運算,也就是處理前面兩個感知器的輸出,這樣最後得到的輸出,才會是XOR的運算結果。

所以,從解XOR運算問題就可以知道,單一一個感知器能力有限,但如果把多個感知器組合,形成一個多層感知器(multilayer perceptron, MLP),那這個由多個神經元所組成的網路,將可以解決更複雜、更困難的問題。

一個多層感知器通常會有輸入層(input layer)、隱藏層(hidden layer)、輸出層(output layer)等三層。在輸入層的神經元負責接收輸入;介於輸入層和輸出層之間的神經元屬於隱藏層;在輸出層的神經元則負責輸出最後的結果。隱藏層可以不止一層,下圖是一個只有單一隱藏層的多層感知器:

raw-image

組成多層感知器的神經元,其運作方式和單一一個感知器的運作方式完全一樣:神經元分別將各個輸入乘上對應的權重後加總,接著由啟動函數將其轉成輸出。

多層感知器的學習方式和感知器一樣,也是透過調整權重來進行。不過,由於多層感知器各層的神經元間都有連結,因此有不少的權重需要調整。想要調整那麼多會互相影響的權重來得到正確的輸出,那可比調整單一一個感知器的權重要複雜多了。

多層感知器調整權重是透過倒傳遞(backpropagation, BP)的方式來進行的。倒傳遞,顧名思義,就是把誤差反向傳遞到網路中,據此來決定各個權重要怎麼調整。詳細的公式推導牽涉到複雜的數學運算,這已超出原書的範圍,所以就此打住。


留言
avatar-img
ysf的沙龍
20會員
165內容數
寫點東西自娛娛人
ysf的沙龍的其他內容
2026/01/26
這節要介紹的是最簡單的類神經網路,也就是只含有一個神經元的感知器(perceptron)。
Thumbnail
2026/01/26
這節要介紹的是最簡單的類神經網路,也就是只含有一個神經元的感知器(perceptron)。
Thumbnail
2025/12/22
簡單介紹類神經網路(artificial neural network, ANN)的應用範圍、運作方式、學習方式、第三方程式庫等。
Thumbnail
2025/12/22
簡單介紹類神經網路(artificial neural network, ANN)的應用範圍、運作方式、學習方式、第三方程式庫等。
Thumbnail
2025/12/15
這一章要介紹的是現在紅透半邊天,可以說是AI基石的類神經網路(artificial neural network, ANN)。
2025/12/15
這一章要介紹的是現在紅透半邊天,可以說是AI基石的類神經網路(artificial neural network, ANN)。
看更多
你可能也想看
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
vocus 慶祝推出 App,舉辦 2026 全站慶。推出精選內容與數位商品折扣,訂單免費與紅包抽獎、新註冊會員專屬活動、Boba Boost 贊助抽紅包,以及全站徵文,並邀請你一起來回顧過去的一年, vocus 與創作者共同留下了哪些精彩創作。
Thumbnail
在量化交易的世界裡,許多開發者(如參考文章所述)往往追求的是指標的組合與回測的完美曲線。然而,實戰經驗告訴我們,市場大部分時間都是隨機噪音。本文將對比傳統量化思維與我們最新開發的 【Infinity Void】V6.3 系統,揭示為何「寧缺勿濫」才是散戶在兩年內達成 100 倍複利的唯一路徑。 一
Thumbnail
在量化交易的世界裡,許多開發者(如參考文章所述)往往追求的是指標的組合與回測的完美曲線。然而,實戰經驗告訴我們,市場大部分時間都是隨機噪音。本文將對比傳統量化思維與我們最新開發的 【Infinity Void】V6.3 系統,揭示為何「寧缺勿濫」才是散戶在兩年內達成 100 倍複利的唯一路徑。 一
Thumbnail
在 2026 年 1 月初的文章中,我曾提到 Infinity Void (無量空處) 引擎 3.0 的核心在於「解構當下」,透過 $TP20 / SL15$ 的階梯式強制平倉邏輯,讓每一筆交易都活在受控的領域之內。當時,我們以為「紀律」就是獲利的終極答案。然而測試卻頻頻出錯......
Thumbnail
在 2026 年 1 月初的文章中,我曾提到 Infinity Void (無量空處) 引擎 3.0 的核心在於「解構當下」,透過 $TP20 / SL15$ 的階梯式強制平倉邏輯,讓每一筆交易都活在受控的領域之內。當時,我們以為「紀律」就是獲利的終極答案。然而測試卻頻頻出錯......
Thumbnail
本文章提供深度學習(Deep Learning)、深度神經網絡(DNN)、卷積神經網絡(CNN)和遞歸神經網絡(RNN)的簡介,並包含它們的定義、應用場景、基本結構、工作原理、優缺點和Python範例。
Thumbnail
本文章提供深度學習(Deep Learning)、深度神經網絡(DNN)、卷積神經網絡(CNN)和遞歸神經網絡(RNN)的簡介,並包含它們的定義、應用場景、基本結構、工作原理、優缺點和Python範例。
Thumbnail
本文探討了聚類算法中常用的效果評估指標,包括內部和外部指標,並詳細介紹了輪廓係數、群集內距離平方和(WCSS)及Davies-Bouldin指數三種主要指標的計算方法、優缺點與應用場景。這些指標各有特點,適用於不同的聚類場景,有助於有效評估聚類質量,提升無監督學習的效能。
Thumbnail
本文探討了聚類算法中常用的效果評估指標,包括內部和外部指標,並詳細介紹了輪廓係數、群集內距離平方和(WCSS)及Davies-Bouldin指數三種主要指標的計算方法、優缺點與應用場景。這些指標各有特點,適用於不同的聚類場景,有助於有效評估聚類質量,提升無監督學習的效能。
Thumbnail
這篇文章深入探討了數據科學與機器學習中的主要聚類算法,包括 K-means、DBSCAN 和層次聚類。介紹了每種算法的工作原理、優缺點及其適用場景,幫助讀者理解何時選擇何種聚類技術。本文還提供了相關的程式碼範例,方便讀者進一步學習與實踐。
Thumbnail
這篇文章深入探討了數據科學與機器學習中的主要聚類算法,包括 K-means、DBSCAN 和層次聚類。介紹了每種算法的工作原理、優缺點及其適用場景,幫助讀者理解何時選擇何種聚類技術。本文還提供了相關的程式碼範例,方便讀者進一步學習與實踐。
Thumbnail
虛擬變數陷阱(Dummy Variable Trap)是指在進行One-Hot Encoding時,生成的虛擬變數之間存在完全多重共線性,影響回歸模型的準確性。透過具體的例子,本文探討瞭如何避免這個陷阱,以提升機器學習模型的效果與穩定性。
Thumbnail
虛擬變數陷阱(Dummy Variable Trap)是指在進行One-Hot Encoding時,生成的虛擬變數之間存在完全多重共線性,影響回歸模型的準確性。透過具體的例子,本文探討瞭如何避免這個陷阱,以提升機器學習模型的效果與穩定性。
Thumbnail
多重共線性是指迴歸模型中,自變數(特徵)之間存在高度線性相關的現象,這會導致模型對各變數獨立影響估計的困難,並降低其解釋性和預測能力。本文將探討多重共線性的定義、成因、影響以及如何識別和解決這一問題,從而提升模型的穩定性和準確性。
Thumbnail
多重共線性是指迴歸模型中,自變數(特徵)之間存在高度線性相關的現象,這會導致模型對各變數獨立影響估計的困難,並降低其解釋性和預測能力。本文將探討多重共線性的定義、成因、影響以及如何識別和解決這一問題,從而提升模型的穩定性和準確性。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News