t-SNE(t-Distributed Stochastic Neighbor Embedding)t-分佈隨機鄰域嵌入

更新於 發佈於 閱讀時間約 2 分鐘

t-SNE(t-Distributed Stochastic Neighbor Embedding)是一種非線性降維技術,專門用於將高維數據映射到低維空間(通常是2D或3D),以便視覺化和理解數據的內部結構。

t-SNE的核心原理:

1. 高維空間的相似度計算

使用高斯核(Gaussian kernel)計算每對高維點之間的條件概率,表示點 選擇點 作為鄰居的概率。

通過“困惑度”(Perplexity)參數,控制鄰域大小的影響範圍。

2. 低維空間的相似度定義

用自由度為1的學生t分布(t分布)計算低維點間的相似度,能有效減輕維度災難帶來的擁擠問題。

3. 優化目標與方法

通過最小化高維和低維空間中的相似度分布間的KL散度(Kullback-Leibler Divergence),讓低維表示盡可能保留高維的局部鄰域結構。

通常用梯度下降法進行迭代優化。

t-SNE的特點:

強調局部結構保持:保留資料點在高維空間上的鄰近關係。

非線性映射:捕捉更複雜的數據結構,優於線性降維方法如PCA。

多尺度顯示:在同一地圖中展現不同尺度的結構和群集分布。

適合視覺化:常用於資料探索,如揭示聚類結構和異常點。

簡單比喻:

t-SNE像是把複雜的高維資料用一張紙呈現出來,讓相似的點靠得近,不相似的點拉遠,看得更清楚。

總結:

t-SNE通過將高維數據的相似度轉換成概率分布,並在低維空間利用學生t分布保持鄰近關係,借助KL散度優化降維,是高維資料可視化的重要工具。

留言
avatar-img
留言分享你的想法!
avatar-img
郝信華 iPAS AI應用規劃師 學習筆記
18會員
478內容數
現職 : 富邦建設資訊副理 證照:經濟部 iPAS AI應用規劃師 AWS Certified AI Practitioner (AIF-C01)
2025/09/03
線性判別分析(LDA,Linear Discriminant Analysis)是一種監督式學習方法,主要用於分類問題及降維。LDA旨在通過線性組合特徵,使同一類別的樣本投影點盡可能接近,而不同類別的樣本投影點之間盡可能分開。 LDA的基本原理: • 計算類內散布矩陣(衡量同類數據的變異程度)
2025/09/03
線性判別分析(LDA,Linear Discriminant Analysis)是一種監督式學習方法,主要用於分類問題及降維。LDA旨在通過線性組合特徵,使同一類別的樣本投影點盡可能接近,而不同類別的樣本投影點之間盡可能分開。 LDA的基本原理: • 計算類內散布矩陣(衡量同類數據的變異程度)
2025/09/03
主成分分析(PCA,Principal Component Analysis)是一種常用的線性降維技術,透過尋找數據中主要變異方向(主成分),將高維資料投影到較低維度的新空間中,以保留資料中最重要的資訊。 PCA的原理: 1. 數據中心化:先對數據做零均值化(每個特徵減去其均值)。 2.
2025/09/03
主成分分析(PCA,Principal Component Analysis)是一種常用的線性降維技術,透過尋找數據中主要變異方向(主成分),將高維資料投影到較低維度的新空間中,以保留資料中最重要的資訊。 PCA的原理: 1. 數據中心化:先對數據做零均值化(每個特徵減去其均值)。 2.
2025/09/02
特徵縮放的常用方法主要有以下幾種: 最小最大縮放(Min-Max Scaling) 將特徵值縮放到固定範圍(通常是0到1之間),計算公式是 。這種方法適合數據分佈較均勻或需要映射到特定範圍的場合,但對極端值敏感。 標準化(Standardization) 將特徵值的平均數轉為0,標準差轉為
Thumbnail
2025/09/02
特徵縮放的常用方法主要有以下幾種: 最小最大縮放(Min-Max Scaling) 將特徵值縮放到固定範圍(通常是0到1之間),計算公式是 。這種方法適合數據分佈較均勻或需要映射到特定範圍的場合,但對極端值敏感。 標準化(Standardization) 將特徵值的平均數轉為0,標準差轉為
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。 示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
Thumbnail
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。 示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
本文主要介紹,如何利用VAE變分自編碼器來訓練生成圖片。 訓練集資料將採用TF影像資料庫中的fashion_mnist VAE變分自編碼器簡單介紹 •VAE(Variational Auto-Encoder)中文名稱變分自編碼器,主要是一種將原始資料編碼到潛在向量空間,再編碼回來的神經網路。
Thumbnail
本文主要介紹,如何利用VAE變分自編碼器來訓練生成圖片。 訓練集資料將採用TF影像資料庫中的fashion_mnist VAE變分自編碼器簡單介紹 •VAE(Variational Auto-Encoder)中文名稱變分自編碼器,主要是一種將原始資料編碼到潛在向量空間,再編碼回來的神經網路。
Thumbnail
透過這篇文章,我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制,從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制,並通過對單次和多次傳遞過程的結果,可以看到節點特徵如何逐步傳遞與更新。
Thumbnail
透過這篇文章,我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制,從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制,並通過對單次和多次傳遞過程的結果,可以看到節點特徵如何逐步傳遞與更新。
Thumbnail
本篇文章專注於消息傳遞(message passing)在圖神經網絡(GNN)中的應用,並以簡單的例子解釋了消息傳遞的過程和機制。
Thumbnail
本篇文章專注於消息傳遞(message passing)在圖神經網絡(GNN)中的應用,並以簡單的例子解釋了消息傳遞的過程和機制。
Thumbnail
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中,數據點之間往往是互相連接和影響的,使用GNN,我們不僅處理單獨的數據點或Xb,而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中,將關係本身作為特徵進行學習。
Thumbnail
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中,數據點之間往往是互相連接和影響的,使用GNN,我們不僅處理單獨的數據點或Xb,而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中,將關係本身作為特徵進行學習。
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
U-Net演算法架構解析,首次介紹了U-Net的設計,架構,以及在Stable-diffusion中的應用。詳盡分析了U-Net的收縮路徑、擴展路徑、最終層,以及形變不變性的應用。同時提供了相關論文以及PyTorch實作的參考資料。
Thumbnail
U-Net演算法架構解析,首次介紹了U-Net的設計,架構,以及在Stable-diffusion中的應用。詳盡分析了U-Net的收縮路徑、擴展路徑、最終層,以及形變不變性的應用。同時提供了相關論文以及PyTorch實作的參考資料。
Thumbnail
本文主要介紹神經網路訓練辨識的過程,利用fashion_mnist及簡單的神經網路來進行分類。 使用只有兩層的神經網路來訓練辨識fashion_mnist資料。
Thumbnail
本文主要介紹神經網路訓練辨識的過程,利用fashion_mnist及簡單的神經網路來進行分類。 使用只有兩層的神經網路來訓練辨識fashion_mnist資料。
Thumbnail
Sequential Feature Selection(SFS) 用中文來解釋為,逐一特徵選取訓練,找出最重要的特徵,以提高模型的性能和效率 SFS 的一些用途包括: 維度縮減: 在高維度數據中,許多特徵可能是多餘或不重要的,使用 SFS 可以找到最能代表數據的特徵,從而減少計算和記憶體需求
Thumbnail
Sequential Feature Selection(SFS) 用中文來解釋為,逐一特徵選取訓練,找出最重要的特徵,以提高模型的性能和效率 SFS 的一些用途包括: 維度縮減: 在高維度數據中,許多特徵可能是多餘或不重要的,使用 SFS 可以找到最能代表數據的特徵,從而減少計算和記憶體需求
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News