【重點考題詳解】
1. NLP & 大型語言模型 (LLM)
• BERT vs. GPT：◦ BERT：採用雙向理解方式，在理解語意時會同時考慮上下文（左右文）。
◦ GPT：採用單向生成方式，由左至右理解字詞間的關係。
• Embedding (嵌入)：
◦ 定義：一種將文字轉換為數值向量的方式。
◦ 目的：轉換成數值向量後，模型才能進行數學運算與機率推算。
• LoRA (Low-Rank Adaptation)：
◦ 定義：針對大型模型訓練進行微調的技術。
◦ 核心概念：在保持預訓練模型權重不變的情況下，顯著減少需要訓練的參數數量。
• 提示攻擊 (Prompt Attack)：
◦ 定義：透過設計不良的提示詞 (Prompt) 來引導模型，產生破壞系統的行為。
◦ 備註：講者觀察到，初級與中級考試都出現了此考題。
• 知識蒸餾 (Knowledge Distillation)：
◦ 概念：將一個大型、複雜模型（教師模型）的知識，轉移到一個較小、輕量模型（學生模型）的過程。
◦ 比喻：如同給學生一份附有答案的練習卷，讓學生能快速學習。
◦ 缺點：若遇到練習卷（訓練資料）以外的題目，學生模型的表現會較差。
• 語意切割 (Semantic Segmentation)：
◦ 定義：將圖像中的每一個像素都分配到一個特定的類別標籤。
◦ 目的：方便對圖像中不同的物件或區域進行分類和標示。
2. 機器學習與深度學習模型
• CNN (卷積神經網路)：
◦ 池化層 (Pooling Layer)：主要作用是壓縮圖像尺寸、保留重要特徵，並降低參數數量與運算複雜度。
• VAE (變分自動編碼器)：
◦ 核心技術：考題重點為 KL 散度 (Kullback-Leibler divergence) 的應用，透過將潛在變數空間規則化來提升生成能力與泛化能力。
• PCA (主成分分析)：
◦ 核心概念：尋找資料中最大的變異方向。
◦ 比較：與 LDA (線性判別分析) 不同，LDA 的目標是尋找能讓類別最大化分離的方向。
• 決策樹剪枝 (Pruning)：
◦ 目的：如同神經網路的 Dropout 或正規化中的 L1，主要目的是避免模型過度擬合 (Overfitting)。
• 聚類演算法 (Clustering)：
◦ K-Means vs. DBSCAN：
▪ K-Means：需要事先指定要分成的群數 (K值)。
▪ DBSCAN：不需事先指定群數，能自動識別出雜訊點（異常值）。
3. MLOps 與模型管理
• MLflow：
◦ 定義：一個用於管理機器學習項目完整生命週期的開源平台，功能包含實驗追蹤、模型訓練、部署與註冊。
• 模型重新訓練 (Retraining)：
◦ 目的：使用新的資料對模型進行重新訓練，以提升其解釋力與泛化能力。
• 邊緣部署 (Edge Deployment)：
◦ 應用情境：當模型需要部署在智慧型手機等終端裝置，以減少網路延遲時，會採用邊緣部署。部分運算在裝置端完成，主要運算才送回雲端中心。
• 容器 (Container)：
◦ 功能：確保開發與部署環境的一致性與可移植性。透過 Docker 等技術，可避免本機環境設定衝突的問題。
• Human-in-the-loop (HITL)：
◦ 定義：在模型訓練、調整與優化的過程中，引入人工干預，以改善模型的準確性與解釋性。在 AI 決策中，最終仍需人類介入。
• 參數 (Parameter) vs. 超參數 (Hyperparameter)：
◦ 參數：模型在訓練過程中自己學習到的值，例如線性回歸的係數、神經網路的權重。
◦ 超參數：在模型訓練開始前，由使用者手動設定的條件，例如隨機森林中決策樹的數量。
4. 資料處理與其他技術
• 影像分割 (Image Segmentation)：
◦ 應用：在醫療領域中，可用於標示腫瘤的邊界。
• 防爬蟲機制：
◦ 應對策略：考題提及了幾種應對防爬蟲機制的方法，如使用多個 IP、模仿人類操作、以及進行 Header 驗證。
• 均方根誤差 (RMSE)：
◦ 定義：將均方誤差 (MSE) 開根號，因為開根號後必為正數，可以抵消正負誤差的影響，避免誤差被過度放大。
【其他提及考題】
• 數據漂移 (Data Drift)：
• AI 實驗管理工具：考題詢問用於 AI 模型實驗管理的工具
• 電腦視覺：考了內容包含圖片分類、物件偵測與分割等四種任務的配對。
• 未涉及機率的模型：考關於哪類模型通常不涉及生成機率。
• 其他概念：NLP、偏見偵測技術、強化學習 (RL) 相關等。
