生成式AI技術與應用
32免費公開
生成式AI技術與應用
Reinforcement Learning from Human Feedback（RLHF）是訓練大型語言模型（如 ChatGPT）的一種方法，通過人類反饋引導模型更好地理解和回應。其流程主要包含三個階段：
RLHF 流程步驟
1. 預訓練語言模型（Pretraining）
使用大規模文本
Reinforcement Learning from Human Feedback（RLHF）是訓練大型語言模型（如 ChatGPT）的一種方法，通過人類反饋引導模型更好地理解和回應。其流程主要包含三個階段：
RLHF 流程步驟
1. 預訓練語言模型（Pretraining）
使用大規模文本
Cross Attention 是 Transformer 模型中的一種注意力機制，主要用於讓模型能夠同時處理來自兩個不同來源的序列信息。它常見於編碼器-解碼器架構中，解碼器透過 cross attention「關注」編碼器輸出的所有位置，從而有效地融合與利用輸入序列信息生成相應輸出。
Cross
Cross Attention 是 Transformer 模型中的一種注意力機制，主要用於讓模型能夠同時處理來自兩個不同來源的序列信息。它常見於編碼器-解碼器架構中，解碼器透過 cross attention「關注」編碼器輸出的所有位置，從而有效地融合與利用輸入序列信息生成相應輸出。
Cross
LoRA（Low-Rank Adaptation）是一種高效的微調技術，設計用於快速適應大型預訓練模型（如GPT、BERT、T5）以完成特定任務，同時大幅減少需要調整的參數數量。它通過在模型的權重矩陣中引入低秩（low-rank）分解，僅學習少量可訓練參數，避免完整微調帶來的龐大計算和記憶體消耗。
LoRA（Low-Rank Adaptation）是一種高效的微調技術，設計用於快速適應大型預訓練模型（如GPT、BERT、T5）以完成特定任務，同時大幅減少需要調整的參數數量。它通過在模型的權重矩陣中引入低秩（low-rank）分解，僅學習少量可訓練參數，避免完整微調帶來的龐大計算和記憶體消耗。
Textual Inversion 是一種用於個性化文字到圖像生成模型（如 Stable Diffusion）的技術。它允許用戶通過少量示例圖片（通常3-5張），讓模型學會一個新的「詞彙」或「概念」，這個詞彙對應於用戶提供的特定對象、風格或人物。
主要原理：
• 傳統的文字到圖像模型使用預訓練
Textual Inversion 是一種用於個性化文字到圖像生成模型（如 Stable Diffusion）的技術。它允許用戶通過少量示例圖片（通常3-5張），讓模型學會一個新的「詞彙」或「概念」，這個詞彙對應於用戶提供的特定對象、風格或人物。
主要原理：
• 傳統的文字到圖像模型使用預訓練
Emergent Abilities（突現能力）指的是在大型人工智慧模型（特別是大型語言模型）中，隨著模型規模、資料量和計算能力的增加，模型突然顯現出未被明確設計或訓練的全新技能或行為。這些能力不是模型明確被編程或預訓練的，而是隨著系統的複雜度提升自發出現，帶有某種不可預測性。
主要特點：
•
Emergent Abilities（突現能力）指的是在大型人工智慧模型（特別是大型語言模型）中，隨著模型規模、資料量和計算能力的增加，模型突然顯現出未被明確設計或訓練的全新技能或行為。這些能力不是模型明確被編程或預訓練的，而是隨著系統的複雜度提升自發出現，帶有某種不可預測性。
主要特點：
•
FID（Fréchet Inception Distance）是一種用來評估生成式模型（如GAN或擴散模型）所產生圖像品質的指標。其核心目標是比較生成圖像與真實圖像的分布差異，以量化生成圖像的真實性和多樣性。
FID 的工作原理
• 使用預訓練的 Inception-v3 網路提取生成圖像和真
FID（Fréchet Inception Distance）是一種用來評估生成式模型（如GAN或擴散模型）所產生圖像品質的指標。其核心目標是比較生成圖像與真實圖像的分布差異，以量化生成圖像的真實性和多樣性。
FID 的工作原理
• 使用預訓練的 Inception-v3 網路提取生成圖像和真
Positional Encoding 是深度學習中 Transformer 模型用來表示序列中各個元素（例如詞語）位置的技術。由於 Transformer 自身的自注意力機制（self-attention）在處理序列時會把輸入視為一個集合，缺乏對元素順序的內建感知，因此需要注入位置信息讓模型能理解
Positional Encoding 是深度學習中 Transformer 模型用來表示序列中各個元素（例如詞語）位置的技術。由於 Transformer 自身的自注意力機制（self-attention）在處理序列時會把輸入視為一個集合，缺乏對元素順序的內建感知，因此需要注入位置信息讓模型能理解
AI alignment（人工智慧對齊）是一個研究領域，目標是確保人工智慧系統的行為和結果符合人類的意圖、價值觀和目標。換句話說，就是讓 AI 的行動方向與人類設計者或使用者真正想要達成的目標保持一致，避免 AI 產生不符合預期甚至危害性的行為。
為什麼 AI alignment 重要？
•
AI alignment（人工智慧對齊）是一個研究領域，目標是確保人工智慧系統的行為和結果符合人類的意圖、價值觀和目標。換句話說，就是讓 AI 的行動方向與人類設計者或使用者真正想要達成的目標保持一致，避免 AI 產生不符合預期甚至危害性的行為。
為什麼 AI alignment 重要？
•
Instruction fine-tuning 是指對預訓練模型（例如 Stable Diffusion）進行微調，使模型能更好地理解並執行用戶的「指令」（instruction），即根據特定的描述或操作說明來生成對應的結果。
具體解釋：
• 傳統微調會針對特定任務或數據進行調整，但指令微調則
Instruction fine-tuning 是指對預訓練模型（例如 Stable Diffusion）進行微調，使模型能更好地理解並執行用戶的「指令」（instruction），即根據特定的描述或操作說明來生成對應的結果。
具體解釋：
• 傳統微調會針對特定任務或數據進行調整，但指令微調則
Stable Diffusion 是一個基於潛在擴散模型（Latent Diffusion Model, LDM）的文字到影像的生成模型，它能從文字描述自動生成高品質、高解析度的圖像。這個模型由 CompVis 團隊與 Stability AI 等合作開發，並基於 LAION 大型開源圖像語言對齊數
Stable Diffusion 是一個基於潛在擴散模型（Latent Diffusion Model, LDM）的文字到影像的生成模型，它能從文字描述自動生成高品質、高解析度的圖像。這個模型由 CompVis 團隊與 Stability AI 等合作開發，並基於 LAION 大型開源圖像語言對齊數
Latent Diffusion Model（LDM）是一種現代深度生成模型，主要應用於高解析度影像生成（如 Stable Diffusion）。它在「潛在空間」（latent space）裡操作擴散過程，以更少資源實現高品質生成。
核心架構與原理：
• Autoencoder 壓縮：先訓練一
Latent Diffusion Model（LDM）是一種現代深度生成模型，主要應用於高解析度影像生成（如 Stable Diffusion）。它在「潛在空間」（latent space）裡操作擴散過程，以更少資源實現高品質生成。
核心架構與原理：
• Autoencoder 壓縮：先訓練一
T5（Text-to-Text Transfer Transformer）是由 Google AI 團隊於2020年提出的一種基於 Transformer 的自然語言處理模型。它的核心創新是將所有 NLP 任務統一表達為「文本轉文本（text-to-text）」的格式，不論是翻譯、摘要、問答、分類等
T5（Text-to-Text Transfer Transformer）是由 Google AI 團隊於2020年提出的一種基於 Transformer 的自然語言處理模型。它的核心創新是將所有 NLP 任務統一表達為「文本轉文本（text-to-text）」的格式，不論是翻譯、摘要、問答、分類等
Seq2Seq（Sequence-to-Sequence）是一種深度學習架構，專門用來處理可變長度的序列輸入並生成可變長度的序列輸出，特別適合語言翻譯、文本摘要、語音識別等自然語言處理任務。
核心架構－Encoder-Decoder
• Encoder（編碼器）：將輸入序列逐步讀入，提取其重要
Seq2Seq（Sequence-to-Sequence）是一種深度學習架構，專門用來處理可變長度的序列輸入並生成可變長度的序列輸出，特別適合語言翻譯、文本摘要、語音識別等自然語言處理任務。
核心架構－Encoder-Decoder
• Encoder（編碼器）：將輸入序列逐步讀入，提取其重要
Reconstruction loss（重建損失）是深度學習中特別常見於自編碼器（autoencoder）和生成模型中的損失函數，用來衡量模型輸出（重建結果）和輸入原始數據之間的不一致性。
定義
重建損失量化了模型“重建”原始輸入的能力，目標是讓輸入經過編碼器編碼後，再由解碼器還原出來的輸出與原
Reconstruction loss（重建損失）是深度學習中特別常見於自編碼器（autoencoder）和生成模型中的損失函數，用來衡量模型輸出（重建結果）和輸入原始數據之間的不一致性。
定義
重建損失量化了模型“重建”原始輸入的能力，目標是讓輸入經過編碼器編碼後，再由解碼器還原出來的輸出與原
KL散度損失（Kullback-Leibler Divergence Loss）是一種在機器學習和深度學習中常用的損失函數，用來衡量兩個概率分布之間的差異或距離。
KL散度的定義：
KL散度衡量真實分布 與預測分布 之間的差距，是非對稱性的度量，表示用基於 的模型來描述 所帶來的資訊損失
KL散度損失（Kullback-Leibler Divergence Loss）是一種在機器學習和深度學習中常用的損失函數，用來衡量兩個概率分布之間的差異或距離。
KL散度的定義：
KL散度衡量真實分布 與預測分布 之間的差距，是非對稱性的度量，表示用基於 的模型來描述 所帶來的資訊損失
Watermarking（數位浮水印技術）是一種在數位內容（如影像、音訊、影片）中嵌入隱藏標識的技術，用於證明內容的版權、真偽以及完整性。這些水印對人眼（或正常感知裝置）通常是不可见的，但能透過專門的算法提取出來。
近年來，隨著深度學習的發展，深度學習水印技術成為主流，主要特點包括：
• 利用
Watermarking（數位浮水印技術）是一種在數位內容（如影像、音訊、影片）中嵌入隱藏標識的技術，用於證明內容的版權、真偽以及完整性。這些水印對人眼（或正常感知裝置）通常是不可见的，但能透過專門的算法提取出來。
近年來，隨著深度學習的發展，深度學習水印技術成為主流，主要特點包括：
• 利用
Style transfer（風格轉移）是指用機器學習，尤其是深度學習方法，把一張圖片的「內容」和另一張圖片的「風格」（例如畫家的筆觸或特定色調）結合，產生一張同時保有原始內容和目標風格的新圖片。這項技術常見於把一般照片變成梵谷、畢卡索等名畫風格的藝術效果，也應用於影音、設計等領域。
核心流程包括
Style transfer（風格轉移）是指用機器學習，尤其是深度學習方法，把一張圖片的「內容」和另一張圖片的「風格」（例如畫家的筆觸或特定色調）結合，產生一張同時保有原始內容和目標風格的新圖片。這項技術常見於把一般照片變成梵谷、畢卡索等名畫風格的藝術效果，也應用於影音、設計等領域。
核心流程包括
Greedy Search（貪心搜尋）是一種簡單且直觀的搜尋或決策策略，原則是在每一步都選擇當前看起來最佳（最有利、最大價值、最低成本等）的選項，而不考慮後續結果是否能達到全局最佳。這種策略通常用於尋找問題的一個“局部最優”解，希望通過累積局部最優來接近或達成全局最佳解。
主要特點包括：
局部最
Greedy Search（貪心搜尋）是一種簡單且直觀的搜尋或決策策略，原則是在每一步都選擇當前看起來最佳（最有利、最大價值、最低成本等）的選項，而不考慮後續結果是否能達到全局最佳。這種策略通常用於尋找問題的一個“局部最優”解，希望通過累積局部最優來接近或達成全局最佳解。
主要特點包括：
局部最
Beam Search（束搜索）是一種常用於自然語言處理和序列生成任務的搜尋演算法，目的是在生成過程中找到機率或評分最高的輸出序列。它是貪心搜尋（Greedy Search）的改進方法，能在可接受的計算成本下同時考慮多個候選解，從而提高生成結果的品質。
主要原理如下：
束寬（beam size）
Beam Search（束搜索）是一種常用於自然語言處理和序列生成任務的搜尋演算法，目的是在生成過程中找到機率或評分最高的輸出序列。它是貪心搜尋（Greedy Search）的改進方法，能在可接受的計算成本下同時考慮多個候選解，從而提高生成結果的品質。
主要原理如下：
束寬（beam size）
Dense Retrieval（密集檢索）是一種基於向量語義表示的檢索技術，主要用於自然語言處理領域，特別是在開放域問答（Open-Domain QA）與語料檢索任務中。這種方法通過深度學習模型將查詢（Query）和文檔（Document）編碼成密集的實數向量（dense vector），並根據向量
Dense Retrieval（密集檢索）是一種基於向量語義表示的檢索技術，主要用於自然語言處理領域，特別是在開放域問答（Open-Domain QA）與語料檢索任務中。這種方法通過深度學習模型將查詢（Query）和文檔（Document）編碼成密集的實數向量（dense vector），並根據向量
Reinforcement Learning from Human Feedback（RLHF）是訓練大型語言模型（如 ChatGPT）的一種方法，通過人類反饋引導模型更好地理解和回應。其流程主要包含三個階段：
RLHF 流程步驟
1. 預訓練語言模型（Pretraining）
使用大規模文本
Reinforcement Learning from Human Feedback（RLHF）是訓練大型語言模型（如 ChatGPT）的一種方法，通過人類反饋引導模型更好地理解和回應。其流程主要包含三個階段：
RLHF 流程步驟
1. 預訓練語言模型（Pretraining）
使用大規模文本
Cross Attention 是 Transformer 模型中的一種注意力機制，主要用於讓模型能夠同時處理來自兩個不同來源的序列信息。它常見於編碼器-解碼器架構中，解碼器透過 cross attention「關注」編碼器輸出的所有位置，從而有效地融合與利用輸入序列信息生成相應輸出。
Cross
Cross Attention 是 Transformer 模型中的一種注意力機制，主要用於讓模型能夠同時處理來自兩個不同來源的序列信息。它常見於編碼器-解碼器架構中，解碼器透過 cross attention「關注」編碼器輸出的所有位置，從而有效地融合與利用輸入序列信息生成相應輸出。
Cross
LoRA（Low-Rank Adaptation）是一種高效的微調技術，設計用於快速適應大型預訓練模型（如GPT、BERT、T5）以完成特定任務，同時大幅減少需要調整的參數數量。它通過在模型的權重矩陣中引入低秩（low-rank）分解，僅學習少量可訓練參數，避免完整微調帶來的龐大計算和記憶體消耗。
LoRA（Low-Rank Adaptation）是一種高效的微調技術，設計用於快速適應大型預訓練模型（如GPT、BERT、T5）以完成特定任務，同時大幅減少需要調整的參數數量。它通過在模型的權重矩陣中引入低秩（low-rank）分解，僅學習少量可訓練參數，避免完整微調帶來的龐大計算和記憶體消耗。
Textual Inversion 是一種用於個性化文字到圖像生成模型（如 Stable Diffusion）的技術。它允許用戶通過少量示例圖片（通常3-5張），讓模型學會一個新的「詞彙」或「概念」，這個詞彙對應於用戶提供的特定對象、風格或人物。
主要原理：
• 傳統的文字到圖像模型使用預訓練
Textual Inversion 是一種用於個性化文字到圖像生成模型（如 Stable Diffusion）的技術。它允許用戶通過少量示例圖片（通常3-5張），讓模型學會一個新的「詞彙」或「概念」，這個詞彙對應於用戶提供的特定對象、風格或人物。
主要原理：
• 傳統的文字到圖像模型使用預訓練
Emergent Abilities（突現能力）指的是在大型人工智慧模型（特別是大型語言模型）中，隨著模型規模、資料量和計算能力的增加，模型突然顯現出未被明確設計或訓練的全新技能或行為。這些能力不是模型明確被編程或預訓練的，而是隨著系統的複雜度提升自發出現，帶有某種不可預測性。
主要特點：
•
Emergent Abilities（突現能力）指的是在大型人工智慧模型（特別是大型語言模型）中，隨著模型規模、資料量和計算能力的增加，模型突然顯現出未被明確設計或訓練的全新技能或行為。這些能力不是模型明確被編程或預訓練的，而是隨著系統的複雜度提升自發出現，帶有某種不可預測性。
主要特點：
•
FID（Fréchet Inception Distance）是一種用來評估生成式模型（如GAN或擴散模型）所產生圖像品質的指標。其核心目標是比較生成圖像與真實圖像的分布差異，以量化生成圖像的真實性和多樣性。
FID 的工作原理
• 使用預訓練的 Inception-v3 網路提取生成圖像和真
FID（Fréchet Inception Distance）是一種用來評估生成式模型（如GAN或擴散模型）所產生圖像品質的指標。其核心目標是比較生成圖像與真實圖像的分布差異，以量化生成圖像的真實性和多樣性。
FID 的工作原理
• 使用預訓練的 Inception-v3 網路提取生成圖像和真
Positional Encoding 是深度學習中 Transformer 模型用來表示序列中各個元素（例如詞語）位置的技術。由於 Transformer 自身的自注意力機制（self-attention）在處理序列時會把輸入視為一個集合，缺乏對元素順序的內建感知，因此需要注入位置信息讓模型能理解
Positional Encoding 是深度學習中 Transformer 模型用來表示序列中各個元素（例如詞語）位置的技術。由於 Transformer 自身的自注意力機制（self-attention）在處理序列時會把輸入視為一個集合，缺乏對元素順序的內建感知，因此需要注入位置信息讓模型能理解
AI alignment（人工智慧對齊）是一個研究領域，目標是確保人工智慧系統的行為和結果符合人類的意圖、價值觀和目標。換句話說，就是讓 AI 的行動方向與人類設計者或使用者真正想要達成的目標保持一致，避免 AI 產生不符合預期甚至危害性的行為。
為什麼 AI alignment 重要？
•
AI alignment（人工智慧對齊）是一個研究領域，目標是確保人工智慧系統的行為和結果符合人類的意圖、價值觀和目標。換句話說，就是讓 AI 的行動方向與人類設計者或使用者真正想要達成的目標保持一致，避免 AI 產生不符合預期甚至危害性的行為。
為什麼 AI alignment 重要？
•
Instruction fine-tuning 是指對預訓練模型（例如 Stable Diffusion）進行微調，使模型能更好地理解並執行用戶的「指令」（instruction），即根據特定的描述或操作說明來生成對應的結果。
具體解釋：
• 傳統微調會針對特定任務或數據進行調整，但指令微調則
Instruction fine-tuning 是指對預訓練模型（例如 Stable Diffusion）進行微調，使模型能更好地理解並執行用戶的「指令」（instruction），即根據特定的描述或操作說明來生成對應的結果。
具體解釋：
• 傳統微調會針對特定任務或數據進行調整，但指令微調則
Stable Diffusion 是一個基於潛在擴散模型（Latent Diffusion Model, LDM）的文字到影像的生成模型，它能從文字描述自動生成高品質、高解析度的圖像。這個模型由 CompVis 團隊與 Stability AI 等合作開發，並基於 LAION 大型開源圖像語言對齊數
Stable Diffusion 是一個基於潛在擴散模型（Latent Diffusion Model, LDM）的文字到影像的生成模型，它能從文字描述自動生成高品質、高解析度的圖像。這個模型由 CompVis 團隊與 Stability AI 等合作開發，並基於 LAION 大型開源圖像語言對齊數
Latent Diffusion Model（LDM）是一種現代深度生成模型，主要應用於高解析度影像生成（如 Stable Diffusion）。它在「潛在空間」（latent space）裡操作擴散過程，以更少資源實現高品質生成。
核心架構與原理：
• Autoencoder 壓縮：先訓練一
Latent Diffusion Model（LDM）是一種現代深度生成模型，主要應用於高解析度影像生成（如 Stable Diffusion）。它在「潛在空間」（latent space）裡操作擴散過程，以更少資源實現高品質生成。
核心架構與原理：
• Autoencoder 壓縮：先訓練一
T5（Text-to-Text Transfer Transformer）是由 Google AI 團隊於2020年提出的一種基於 Transformer 的自然語言處理模型。它的核心創新是將所有 NLP 任務統一表達為「文本轉文本（text-to-text）」的格式，不論是翻譯、摘要、問答、分類等
T5（Text-to-Text Transfer Transformer）是由 Google AI 團隊於2020年提出的一種基於 Transformer 的自然語言處理模型。它的核心創新是將所有 NLP 任務統一表達為「文本轉文本（text-to-text）」的格式，不論是翻譯、摘要、問答、分類等
Seq2Seq（Sequence-to-Sequence）是一種深度學習架構，專門用來處理可變長度的序列輸入並生成可變長度的序列輸出，特別適合語言翻譯、文本摘要、語音識別等自然語言處理任務。
核心架構－Encoder-Decoder
• Encoder（編碼器）：將輸入序列逐步讀入，提取其重要
Seq2Seq（Sequence-to-Sequence）是一種深度學習架構，專門用來處理可變長度的序列輸入並生成可變長度的序列輸出，特別適合語言翻譯、文本摘要、語音識別等自然語言處理任務。
核心架構－Encoder-Decoder
• Encoder（編碼器）：將輸入序列逐步讀入，提取其重要
Reconstruction loss（重建損失）是深度學習中特別常見於自編碼器（autoencoder）和生成模型中的損失函數，用來衡量模型輸出（重建結果）和輸入原始數據之間的不一致性。
定義
重建損失量化了模型“重建”原始輸入的能力，目標是讓輸入經過編碼器編碼後，再由解碼器還原出來的輸出與原
Reconstruction loss（重建損失）是深度學習中特別常見於自編碼器（autoencoder）和生成模型中的損失函數，用來衡量模型輸出（重建結果）和輸入原始數據之間的不一致性。
定義
重建損失量化了模型“重建”原始輸入的能力，目標是讓輸入經過編碼器編碼後，再由解碼器還原出來的輸出與原
KL散度損失（Kullback-Leibler Divergence Loss）是一種在機器學習和深度學習中常用的損失函數，用來衡量兩個概率分布之間的差異或距離。
KL散度的定義：
KL散度衡量真實分布 與預測分布 之間的差距，是非對稱性的度量，表示用基於 的模型來描述 所帶來的資訊損失
KL散度損失（Kullback-Leibler Divergence Loss）是一種在機器學習和深度學習中常用的損失函數，用來衡量兩個概率分布之間的差異或距離。
KL散度的定義：
KL散度衡量真實分布 與預測分布 之間的差距，是非對稱性的度量，表示用基於 的模型來描述 所帶來的資訊損失
Watermarking（數位浮水印技術）是一種在數位內容（如影像、音訊、影片）中嵌入隱藏標識的技術，用於證明內容的版權、真偽以及完整性。這些水印對人眼（或正常感知裝置）通常是不可见的，但能透過專門的算法提取出來。
近年來，隨著深度學習的發展，深度學習水印技術成為主流，主要特點包括：
• 利用
Watermarking（數位浮水印技術）是一種在數位內容（如影像、音訊、影片）中嵌入隱藏標識的技術，用於證明內容的版權、真偽以及完整性。這些水印對人眼（或正常感知裝置）通常是不可见的，但能透過專門的算法提取出來。
近年來，隨著深度學習的發展，深度學習水印技術成為主流，主要特點包括：
• 利用
Style transfer（風格轉移）是指用機器學習，尤其是深度學習方法，把一張圖片的「內容」和另一張圖片的「風格」（例如畫家的筆觸或特定色調）結合，產生一張同時保有原始內容和目標風格的新圖片。這項技術常見於把一般照片變成梵谷、畢卡索等名畫風格的藝術效果，也應用於影音、設計等領域。
核心流程包括
Style transfer（風格轉移）是指用機器學習，尤其是深度學習方法，把一張圖片的「內容」和另一張圖片的「風格」（例如畫家的筆觸或特定色調）結合，產生一張同時保有原始內容和目標風格的新圖片。這項技術常見於把一般照片變成梵谷、畢卡索等名畫風格的藝術效果，也應用於影音、設計等領域。
核心流程包括
Greedy Search（貪心搜尋）是一種簡單且直觀的搜尋或決策策略，原則是在每一步都選擇當前看起來最佳（最有利、最大價值、最低成本等）的選項，而不考慮後續結果是否能達到全局最佳。這種策略通常用於尋找問題的一個“局部最優”解，希望通過累積局部最優來接近或達成全局最佳解。
主要特點包括：
局部最
Greedy Search（貪心搜尋）是一種簡單且直觀的搜尋或決策策略，原則是在每一步都選擇當前看起來最佳（最有利、最大價值、最低成本等）的選項，而不考慮後續結果是否能達到全局最佳。這種策略通常用於尋找問題的一個“局部最優”解，希望通過累積局部最優來接近或達成全局最佳解。
主要特點包括：
局部最
Beam Search（束搜索）是一種常用於自然語言處理和序列生成任務的搜尋演算法，目的是在生成過程中找到機率或評分最高的輸出序列。它是貪心搜尋（Greedy Search）的改進方法，能在可接受的計算成本下同時考慮多個候選解，從而提高生成結果的品質。
主要原理如下：
束寬（beam size）
Beam Search（束搜索）是一種常用於自然語言處理和序列生成任務的搜尋演算法，目的是在生成過程中找到機率或評分最高的輸出序列。它是貪心搜尋（Greedy Search）的改進方法，能在可接受的計算成本下同時考慮多個候選解，從而提高生成結果的品質。
主要原理如下：
束寬（beam size）
Dense Retrieval（密集檢索）是一種基於向量語義表示的檢索技術，主要用於自然語言處理領域，特別是在開放域問答（Open-Domain QA）與語料檢索任務中。這種方法通過深度學習模型將查詢（Query）和文檔（Document）編碼成密集的實數向量（dense vector），並根據向量
Dense Retrieval（密集檢索）是一種基於向量語義表示的檢索技術，主要用於自然語言處理領域，特別是在開放域問答（Open-Domain QA）與語料檢索任務中。這種方法通過深度學習模型將查詢（Query）和文檔（Document）編碼成密集的實數向量（dense vector），並根據向量