在機器學習領域中，監督學習、無監督學習和強化學習是三種核心方法，它們在解決不同類型的問題時發揮著重要作用。
- 1. 監督學習（Supervised Learning）:
在監督學習中，模型通過已標記的數據進行訓練，從而學習到輸入數據和對應的輸出標籤之間的關係。這意味著對於給定的輸入，模型可以預測其對應的輸出。例如，給定房屋的特徵（如面積、地理位置等），模型可以預測其價格。監督學習的目標是使模型能夠通過已知數據進行訓練，從而實現對未知數據的準確預測。
舉例來說，想像一下你正在學習辨識不同品種的狗。在監督學習中，你的教練會向你展示各種各樣的狗的圖片，並告訴你每張圖片對應的狗的品種。這些標註的圖片就像是標記的數據，而品種名稱則是標籤。通過觀察這些標記的數據，你開始學習到不同品種狗的特徵和特點，從而可以在看到新的狗時準確地辨識它們的品種。早期的監督學習方法包括感知器和線性回歸模型，隨著深度學習技術的發展，監督學習得到了進一步的推廣和應用。
- 2. 無監督學習（Unsupervised Learning）:
無監督學習與監督學習相比，不需要標記的數據，而是通過觀察數據的內在結構和模式來進行學習。換句話說，模型嘗試從數據中發現潛在的結構，例如群體、聚類或異常值，以便對數據進行更深入的分析和理解。無監督學習的目標是從數據中發現新的知識或規律，而不需要任何外部的標籤信息。早期的無監督學習方法包括聚類分析、降維和密度估計等。隨著深度學習技術的發展，無監督學習方法也得到了很大的發展，例如自編碼器、生成對抗網絡（GAN）等。
假設你有一大堆未分類的照片，並且想要將它們分成不同的類別，但你不知道如何開始。這時，你可以使用無監督學習的方法。無監督學習就像是在觀察這些照片並嘗試找到它們之間的共同特徵。例如，你可能會注意到一組照片中有很多山景，另一組中有很多海灘景觀。通過將這些照片分為不同的群組，你可以自動地將它們分類為山景和海灘照片，而不需要事先標記它們。
- 3. 強化學習（Reinforcement Learning）:
強化學習是一種通過與環境的交互來學習最優行為策略的方法。在強化學習中，模型通過試錯和反饋來學習，以使得在特定環境下獲得最大的累積獎勵。這種方法類似於小孩學習走路或運動員進行訓練的過程。通過不斷地與環境進行交互，模型學習到哪些行為會導致更好的結果，從而逐步優化其行為策略。強化學習的應用場景包括機器人控制、遊戲玩法、自動駕駛等領域。近年來，隨著深度強化學習技術的發展，強化學習在更廣泛的領域中得到了應用和推廣。
想像一下你正在玩一款遊戲，你的目標是通過不斷的嘗試和錯誤來學會如何通過關卡。每次你嘗試一個新的動作或策略，遊戲都會根據你的表現給予你積分或獎勵，這些積分和獎勵就像是強化學習中的反饋。通過不斷地嘗試不同的動作，你學會了哪些動作可以讓你獲得更高的積分，從而優化了你的策略，進一步提高了遊戲中的表現。
拐點：站在AI顛覆世界的前夜(by 萬維鋼)
---
Transformer是一種神經網絡架構，最初由Google的研究團隊於2017年提出，用於自然語言處理任務，特別是在機器翻譯方面取得了顯著的成就。Transformer架構的核心是自注意力機制（Self-attention mechanism），它允許模型在處理序列數據時能夠同時考慮到所有位置的信息，從而有效地捕捉長距離依賴關係。
reference: All You Need Is Attentation
Transformer 主要體現在監督學習中的應用，對神經網絡的發展產生了重大影響：
- 解決了長距離依賴問題： 在傳統的循環神經網絡（RNN）和卷積神經網絡（CNN）中，處理長序列數據時常常面臨著梯度消失或梯度爆炸等問題，限制了模型的性能。Transformer通過自注意力機制，使得模型能夠在不受序列長度限制的情況下捕捉長距離的依賴關係，從而提高了模型的性能。
- 並行計算：由於自注意力機制的特性，Transformer模型中的不同位置之間是並行計算的，這使得Transformer模型能夠更有效地利用計算資源，加速訓練過程。
- 適應不同任務： Transformer的結構非常靈活，可以通過添加不同的組件和調整模型的大小來適應不同的任務和數據集，例如語言建模、機器翻譯、文本生成等。
- 推動了預訓練模型的發展： Transformer模型的出現促進了預訓練技術的發展，例如BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）等。這些預訓練模型通過大規模的無標籤數據進行預訓練，然後在特定任務上進行微調，取得了在多個自然語言處理任務上的突出表現。
總的來說，Transformer作為一種革命性的神經網絡架構，通過引入自注意力機制解決了傳統神經網絡中存在的問題，並推動了自然語言處理等領域的發展。
---
GPT（Generative Pre-Trained Transformer）是一種基於 Transformer 架構的預訓練生成式模型，它可以通過預先訓練來學習自然語言的統計結構和語義信息，然後可以用於各種 NLP 任務，包括文本生成、機器翻譯、文本分類等。
- Transformer 架構：Transformer 是一種用於處理序列數據的神經網絡架構，特別適用於自然語言處理（NLP）任務。它以自注意力機制為核心，能夠處理不同長度的輸入序列，並在各種 NLP 任務中表現出色。
- Pre-Trained 預訓練：指在特定任務之前，模型已經通過大量未標記的數據進行了訓練。在這個階段，模型學習了數據的統計特性和語義結構，而不是針對特定任務進行了最終的微調。
- Generative 生成式模型: 生成式模型是指具有生成能力的模型，能夠根據給定的輸入生成相應的輸出。這種模型能夠根據輸入的信息生成新的數據，例如一幅畫、一篇文章或者一首詩。典型的生成性神經網路訓練方法是使用兩個相互對抗的網絡：生成器和判別器。生成器負責生成內容，而判別器負責判斷生成內容的質量。這種對抗式訓練的過程促使生成器和判別器相互提高，已經在諸如生成對抗網路（GAN）等模型中得到了廣泛應用。在自然語言處理中，生成式模型可以生成與給定文本相似的新文本，或者根據提示生成連貫的文本。
