今天與Gemini review 我在 Prompt Engineering 的學習,我其實感覺可以嘗試更全面的返回人工智慧領域學習,站在已有的 Prompting 學習基礎上。於是有了今天 Day 0 的從頭學習。
加油!我可以的:)
-「人工智慧 1+1」學習旅程 Day 0
人工智慧AI 的組成(鳥瞰)
〈本體〉
A.技術核心:如何讓 AI 思考(學習&演算法)
B.感知互動:如何讓 AI 感知與互動 (理解&感應)
C.基礎設施:使AI 運作的基底 (軟硬體&數據)
D.倫理治理:AI 運作的規範 (技術面向&社群倫理面向)
〈延伸應用〉
▪︎ AI 具象產品化/商業化:生成式AI/聊天機器人、推薦系統、智慧服務(如AI 醫療影像診斷、智慧監控系統)...etc.
▪︎ AI 技術援引:以其他技術為核心,引進 AI 技術工程化(非 AI 核心),如智慧工廠(結合 IoT、邊緣運算)、智慧城市(結合 CV、NLP、IoT)
-〈本體〉-
A.技術核心:如何讓 AI 思考(學習&演算法)
說明:AI 的核心,決定了 AI 的基本能力。
▪︎ 機器學習/ML (Machine Learning):
The cornerstone of AI,讓電腦能夠從數據中學習。
類型:監督式學習、非監督式學習、強化學習。
▪︎ 深度學習/DL (Deep Learning):
從屬於「機器學習/ML」的一個子集,使用類神經網路,其他還包含CNN、RNN、Transformer。是 LLM 的底層技術。
▪︎ 大型語言模型 (LLMs):
深度學習/DL 在自然語言處理(NLP)領域**的具體應用,也是提示工程 Prompt Engineering 施作的對象。
(**註:這在「B.感知互動」部分會再說明。這其實也顯示出,某些觀點視LLMs屬於「B.感知互動」的具體應用,而非技術核心,其來有自。不過不論何者,都同意LLMs 實際上同時跨屬兩個層面。)
▪︎ 演算法:
▹基礎方法論:數學與統計基礎,線性代數、微積分、機率論、統計推論
▹優化與演算法:梯度下降、優化方法、搜索演算法
B.感知互動:如何讓 AI 感知與互動 (理解&感應)
說明:AI 如何理解世界、處理不同類型數據並與之互動。
▪︎ 自然語言處理/NLP (Natural Language Processing):
專注於讓電腦理解、處理和生成人類語言**。包含:文本生成、摘要、翻譯、對話系統...etc.
(**註:提示工程Prompt Engineering 屬於 NLP 的一個重要分支,是NLP 在 LLM 的實際應用場景。而且,既是LLMs的應用技術,那麼也就跟LLMs 實際上同時跨屬兩個層面一樣,提示工程也是一種橫跨「A.技術核心」與「B.感知互動」的工程化應用。)
▪︎ 電腦視覺 /CV (Computer Vision)、語音辨識與合成:
讓電腦能夠「看」懂圖片和影片,「聽」懂和「說」出人類語音**。
主要技術包含:
▹視覺 → 物體偵測、圖像分類、影像生成
▹聽說 → 語音識別、語音合成、聲音分類
(**註:提示工程 Prompt Engineering 中的「多模態提示 Multi-Model Prompt」即屬此類技術的實際應用。)
▪︎ 機器人學Robotics 與自動控制:
針對Robot 的動作控制、感測器融合、強化學習應用等技術
C.基礎設施:使AI 運作的基底 (軟硬體&數據)
說明:AI 運作的基礎,使核心演算法得以運行。
▪︎ 運算資源:
硬體設備部分,是專門為深度學習運算設計的硬體加速器,包含CPU、GPU、TPU,使得高效能計算成為可能。
同時,針對不同訓練目的,分別施作雲端運算或邊緣運算。
▹雲端運算:提供高效能算力(GPU/TPU/CPU)、大規模資料存儲、彈性資源分配
▹邊緣計算:把部分計算向使用者或感測器端的裝置靠攏,減少延遲與網路依賴(即時性)、降低隱私與安全風險。
▪︎ 資料管理/大數據:
資料的儲存與運算,包含資料庫、資料倉儲、資料清洗、標註;是訓練和運行 AI 模型所需要的大量數據(素材)的來源。
另,物聯網/ IoT可以做到實時提供感測器裝置連接所產生大量資料**,在 real time react 的訓練十分關鍵。
(**註:在通常情況下,網路通訊的極佳硬體條件如5G,非絕對必要/有則嘉勉。不過,若以IoT來說,就會是不可或缺了。)
▪︎ 軟體與開發工具:
各種開發工具,包含:Python、TensorFlow、PyTorch、Scikit-learn**。
(**註:提示工程 Prompt Engineering 透過在應用程式環境以軟體開發方式提升 LLM 效能,即為一具體實例。)
D.倫理治理:AI 運作的規範 (技術面向&社群倫理面向)
說明:確保 AI 的(自身)發展方向及技術應用是「正確、安全且負責任」的最高原則。
▪︎ 從技術層面:
確保 AI 的安全與可靠性:對抗樣本、系統漏洞、防止濫用。
▪︎ 從社群倫理層面**:
▹ Responsible AI:負責任的 AI必須涵蓋公平性、透明度、隱私保護等原則。
▹ Safety:專注於避免 AI 產生有害或意外的行為。
▹ Ethical Consideration:倫理與偏見治理包含,偏見檢測、公平性、透明性。
▹ 法規與政策:GDPR、AI 監管政策。
▹ 社會影響:隱私、責任歸屬、勞動力影響。
(**註:有鑒於人工智慧是一個完全變革,i.e.典範轉移,是徹底顛覆世界的創新,倫理治理不會只作為外部規範,同時也必須是自設計底層from the bottom 的內部設計原則。)
▪︎ 社群倫理規範的落地技術:
目前實際可行的技術治理工具,包含有:可解釋性模型 (XAI)、偏見檢測工具、模型卡 (Model Cards)、數據集卡 (Datasheets for Datasets)。