【深智書摘】圖神經網路 (GNN) 簡介
更新於 發佈於 閱讀時間約 2 分鐘
大部分處理影像的神經網路，例如簡單的神經網路、CNN、物件偵測、語義分割、臉部辨識等，都是以像素為輸入特徵，圖神經網路 (GNN) 則是以圖形理論 (Graph Theory) 為基礎，以向量作為輸入，內含節點 (Node) 及邊 (Edge)，如下圖，以圖形表達集團交叉持股的關係及持股比例。
圖神經網路 (Graph Neural Network, GNN)，可以應用到許多方面：
●物理 (Physical System)，例如3D物件 (Particles) 的座標與關聯。
●化學 (Chemistry)：例如分子結構 (Molecules)。
●地理 (Geography)：地圖、交通、道路等，可表達A點到B點的距離、時間、方向等。
●醫學：藥物間的交互作用 (Drug-drug interaction)。
●影像：向量圖、影像分類…等。
●文字：文章引用、語意分析、知識圖譜 (Knowledge Graph)，例如各種機率分配的關聯…等。
●商品推薦：相似或互補商品的關聯、組合包 (Sales kits) …等。
●商業應用：產品製造清單 (BOM)、集團交叉持股…等。
●社群軟體：社交圈 (Social Circle) 偵測、追蹤 (Follow) / 被追蹤關係、假新聞的辨識與追蹤。
圖形理論應用的層面非常廣泛，因此，近幾年學者也試圖結合神經網路，進行各種更進階、複雜的任務。
目前支援圖神經網路的套件至少有三個：
1. PyTorch Geometric (PyG)：建置在PyTorch之上。
2. Deep Graph Library (DGL)：建置在PyTorch、TensorFlow及MXNet之上。
3. Spektral：建置在TensorFlow 2/Keras之上。
『開發者傳授 PyTorch 秘笈』一書有詳盡的介紹，包括：
★圖形理論概論。
★NetworkX套件的使用。
★圖形理論應用。
★GNN主要的神經層：『圖卷積神經網路』 (Graph Convolutional Network, GCN)，與PyTorch整合。
★GNN範例實作。
本文節錄自深智數位出版之《開發者傳授 PyTorch 秘笈》。
為什麼會看到廣告
9會員
25內容數
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文介紹使用 PyTorch 及類神經網路進行圖形資料集的分類。Fashion-MNIST 提供了機器學習研究上的著名範例；服飾的灰階圖像的分類。本文指導讀者從安裝 torchvision 到建立類神經網路，進行圖形分類的完整過程。也詳述了資料處理及訓練過程，幫助理解類神經網路在圖形分類上的應用。
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
GNN發展背景
傳統的深度學習模型如在計算機視覺（CV）和自然語言處理（NLP）領域中極為成功，主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構，例如影像是由有序的像素點組成。然而，在真實世界中，許多數據是非結構化的，如化合物結構（原子和分子）。這些數據雖然具有一定的規則性，
本文主要介紹神經網路訓練辨識的過程，利用fashion_mnist及簡單的神經網路來進行分類。
使用只有兩層的神經網路來訓練辨識fashion_mnist資料。
感知器是一種基本的神經網路模型，用於二分類問題。它模擬了人腦神經元的工作原理，通過調整權重和偏差值來達到預測和分類的目的。
感知器流程
輸入
資料的輸入:
輸入層接受資料的輸入，每個輸入對應一個特徵，還有一個固定的偏差神經元。
資料經過每個神經元時，會乘上相應的
卷積神經網路（CNN）是一種專門用於影像相關應用的神經網路。本文介紹了CNN在影像辨識中的應用，包括圖片的組成、Receptive Field、Parameter Sharing、以及Pooling等技術。通過本文，讀者將瞭解CNN在影像辨識領域的優勢和運作原理。
圖形演算法在資料處理上扮演重要角色。本文介紹圖形的歷史、定義、技術用途，以及為什麼我們要關心圖形演算法。文末還提及圖形演算法在機器學習領域的應用。下次將介紹更詳細的圖形演算法內容。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文介紹使用 PyTorch 及類神經網路進行圖形資料集的分類。Fashion-MNIST 提供了機器學習研究上的著名範例；服飾的灰階圖像的分類。本文指導讀者從安裝 torchvision 到建立類神經網路，進行圖形分類的完整過程。也詳述了資料處理及訓練過程，幫助理解類神經網路在圖形分類上的應用。
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
GNN發展背景
傳統的深度學習模型如在計算機視覺（CV）和自然語言處理（NLP）領域中極為成功，主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構，例如影像是由有序的像素點組成。然而，在真實世界中，許多數據是非結構化的，如化合物結構（原子和分子）。這些數據雖然具有一定的規則性，
本文主要介紹神經網路訓練辨識的過程，利用fashion_mnist及簡單的神經網路來進行分類。
使用只有兩層的神經網路來訓練辨識fashion_mnist資料。
感知器是一種基本的神經網路模型，用於二分類問題。它模擬了人腦神經元的工作原理，通過調整權重和偏差值來達到預測和分類的目的。
感知器流程
輸入
資料的輸入:
輸入層接受資料的輸入，每個輸入對應一個特徵，還有一個固定的偏差神經元。
資料經過每個神經元時，會乘上相應的
卷積神經網路（CNN）是一種專門用於影像相關應用的神經網路。本文介紹了CNN在影像辨識中的應用，包括圖片的組成、Receptive Field、Parameter Sharing、以及Pooling等技術。通過本文，讀者將瞭解CNN在影像辨識領域的優勢和運作原理。
圖形演算法在資料處理上扮演重要角色。本文介紹圖形的歷史、定義、技術用途，以及為什麼我們要關心圖形演算法。文末還提及圖形演算法在機器學習領域的應用。下次將介紹更詳細的圖形演算法內容。