初探深度學習
深度學習是什麼?
簡單來說，深度學習是大型且多層的人工神經網路。我們可以想像神經網路（"Neural Nnetwork, NN"）是一種有向無環圖，此圖可拆分成三個部分來看: 1. 輸入層接收信號向量；2. 一個或多個隱藏層處理前一層的輸出; 3. 輸出層統合之前所有隱藏層的處理結果。神經網路的初始概念可以追溯到半個多世紀前，但是因為以前的電腦性能的侷限還有數據資料處理規模的侷限，所以神經網路無法在之前發揮效果。
一個大型且深層的神經網路擁有更多層級和每層則具備更多的節點，這導致了大型且深層的神經網路需要處理指數級增長的網路參數。沒有足夠的數據，我們無法有效地讓神經網路學習參數。沒有強大的電腦，學習過程將會過於緩慢。這裡有一個有趣的圖表，展示了數據規模與模型性能之間的關係，由Andrew Ng在他的 "How Scale is Enabling Deep Learning" 演講中提出。在小型數據集上，傳統機器學習演算法（回歸、隨機森林、支持向量機等）或統計學習演算法表現出色，但一旦數據規模大幅增加，大型神經網路的表現就會超越其他方法。部分原因是相比傳統的機器學習模型，神經網路模型擁有更多的參數，並且有能力學習複雜的非線性特徵模型。因此，我們期望模型能夠自行選擇最有用的特徵，而不需要太多專家參與的人工特徵調整。
不同的深度學習模型
不同的深度學習模型使用不同的神經網路架構，以下介紹三種最常見的架構。
Convolutional Neural Network
卷積神經網路(Convolutional Neural Network)，簡稱「CNN」，是一種前饋人工神經網路，其神經元之間的連接模式受到視覺皮層系統組織的啟發。初級視覺皮層（V1）從視網膜接收的原始視覺輸入中進行邊緣檢測。次級視覺皮層（V2），也稱為紋狀皮層前區，接收來自V1的邊緣特徵，並提取簡單的視覺屬性，如方向、空間頻率和顏色。視覺區V4處理更複雜的物體屬性。所有處理過的視覺特徵最終流入最後的邏輯單元——下顳回（IT），用於物體識別。V1和V4之間的捷徑啟發了一種特殊類型的CNN，即具有非相鄰層之間連接的殘差網路（Residual Net）（[1] He等人，2016年），其中包含「殘差塊」，支持將某一層的部分輸入傳遞到兩層之後的網路。
Recurrent Neural Network
序列模型通常被設計用來將輸入序列轉換為存在於不同領域的輸出序列。循環神經網路(Recurrent Neural Network)，簡稱「RNN」，即是採用序列模型，並在手寫識別、語音識別和機器翻譯等問題上展現出巨大的進步。
循環神經網路模型天生具有處理長序列數據的能力，並能處理隨時間擴展的上下文任務。該模型在每個時間步驟處理序列中的一個元素。計算後，新更新的單元狀態會傳遞到下一個時間步驟，以促進下一個元素的計算。想像一下，當一個RNN模型逐字閱讀所有維基百科文章時，它能夠根據上下文預測接下來的詞。
Autoencoders
自動編碼器來自於無監督學習。它被設計用來學習高維數據集的低維表示，類似於主成分分析（PCA）所做的。自動編碼器模型試圖學習一個近似函數。f(x)≈xf(x)≈x 來重現輸入數據。然而，它受到中間一個節點數量非常少的瓶頸層的限制。在容量有限的情況下，模型被迫形成一個非常高效的數據編碼，這就是自動編碼器學到的低維代碼。
Reference
- http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf
- https://arxiv.org/pdf/1406.1078.pdf
- https://pdfs.semanticscholar.org/7d76/b71b700846901ac4ac119403aa737a285e36.pdf
留言
留言分享你的想法！
本篇參與的主題活動
這篇文章整理了14個免費出國計畫與平臺，包含短期交流和長期實習，涵蓋各個產業領域，例如領導力、國際關係、創業、商業管理、旅遊、行銷、非營利組織、工程、科學、技術等。文中詳細介紹每個計畫的簡介、申請時間、出國時間、產業領域以及申請資格等資訊，並提供個人建議，幫助讀者快速掌握資訊，挑選最適合自己的方案。
《離線找真愛》是Netflix 2025年初推出的日本戀愛實境節目，節目找來個性和氛圍不同的5位男女，記錄他們在法國尼斯度過的10天旅程，呈現人與人相會、邂逅，認識彼此和留下深刻印記的美好過程。
大家好！今天要和大家分享 PTCG Pocket 級別對戰的完整攻略。不論你是剛開始玩的新手，還是想衝排名的老手，這篇攻略都能幫你更了解遊戲機制！
目錄：
開放時間與參加條件
段位制度詳解
積分機制說明
賽季獎勵制度
實用打牌技巧
新手常見問題
—————————
📅 一、開
這篇文章整理了14個免費出國計畫與平臺，包含短期交流和長期實習，涵蓋各個產業領域，例如領導力、國際關係、創業、商業管理、旅遊、行銷、非營利組織、工程、科學、技術等。文中詳細介紹每個計畫的簡介、申請時間、出國時間、產業領域以及申請資格等資訊，並提供個人建議，幫助讀者快速掌握資訊，挑選最適合自己的方案。
《離線找真愛》是Netflix 2025年初推出的日本戀愛實境節目，節目找來個性和氛圍不同的5位男女，記錄他們在法國尼斯度過的10天旅程，呈現人與人相會、邂逅，認識彼此和留下深刻印記的美好過程。
大家好！今天要和大家分享 PTCG Pocket 級別對戰的完整攻略。不論你是剛開始玩的新手，還是想衝排名的老手，這篇攻略都能幫你更了解遊戲機制！
目錄：
開放時間與參加條件
段位制度詳解
積分機制說明
賽季獎勵制度
實用打牌技巧
新手常見問題
—————————
📅 一、開
你可能也想看
Google News 追蹤
空單爆天量、技術指標超賣、情緒恐慌到極致：美股嘎空行情有機會啟動嗎？
重點摘要：
技術面極度超賣，反彈條件醞釀中，但尚未明確止穩
SPY 與 QQQ 的重要指標，如MACD、KDJ、RSI等指標進入極端超賣區，但尚未出現底部鈍化或明確反轉訊號，技術面仍屬空方主導。
連續出現跳空缺口，空方動
全新 vocus 挑戰活動「方格人氣王」來啦～四大挑戰任你選，留言 / 愛心 / 瀏覽數大 PK，還有新手專屬挑戰！無論你是 vocus 上活躍創作者或剛加入的新手，都有機會被更多人看見，獲得站上版位曝光＆豐富獎勵！🏆
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Google Brain 開發了 Tensor2Tensor（T2T），讓深度學習開發變得更加容易，T2T 是 TensorFlow 的擴展，包含深度學習模型庫，其中包
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。
示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，文中介紹了殘差網路，並推薦了兩篇論文；因為在看了書後，對殘差網路的概念還是不很清楚，於是決定用ChatGPT翻譯這兩篇論文來增強理解，以下正文是第一篇論文：Deep Residual Learning for Image Re
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
前言
其實摸機器學習、深度學習也有一陣子了，雖然大致上都理解，不過有些細節若不是那麼清楚，我也沒仔細去弄懂。今天剛好在《強化式學習：打造最強 AlphaZero 通用演算法》這本書看到之前略過的幾個名詞，書中有解釋其背後代表的東西的功能，在此記錄下來，以後又忘掉時可回來查看。
正文
"激活
空單爆天量、技術指標超賣、情緒恐慌到極致：美股嘎空行情有機會啟動嗎？
重點摘要：
技術面極度超賣，反彈條件醞釀中，但尚未明確止穩
SPY 與 QQQ 的重要指標，如MACD、KDJ、RSI等指標進入極端超賣區，但尚未出現底部鈍化或明確反轉訊號，技術面仍屬空方主導。
連續出現跳空缺口，空方動
全新 vocus 挑戰活動「方格人氣王」來啦～四大挑戰任你選，留言 / 愛心 / 瀏覽數大 PK，還有新手專屬挑戰！無論你是 vocus 上活躍創作者或剛加入的新手，都有機會被更多人看見，獲得站上版位曝光＆豐富獎勵！🏆
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Google Brain 開發了 Tensor2Tensor（T2T），讓深度學習開發變得更加容易，T2T 是 TensorFlow 的擴展，包含深度學習模型庫，其中包
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。
示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，文中介紹了殘差網路，並推薦了兩篇論文；因為在看了書後，對殘差網路的概念還是不很清楚，於是決定用ChatGPT翻譯這兩篇論文來增強理解，以下正文是第一篇論文：Deep Residual Learning for Image Re
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer模型驅動的人工智慧正在將無所不在的一切連接起來，機器直接與其他機器通訊，人工智慧驅動的物聯網訊號無需人工干預即可觸發自動決策。 自然語言處理演算法
前言
其實摸機器學習、深度學習也有一陣子了，雖然大致上都理解，不過有些細節若不是那麼清楚，我也沒仔細去弄懂。今天剛好在《強化式學習：打造最強 AlphaZero 通用演算法》這本書看到之前略過的幾個名詞，書中有解釋其背後代表的東西的功能，在此記錄下來，以後又忘掉時可回來查看。
正文
"激活