Beam Search

更新 發佈閱讀 3 分鐘

Beam Search 演算法概述

定義與用途

Beam Search 是一種啟發式搜尋演算法,廣泛應用於自然語言處理(NLP)、語音辨識、機器翻譯等序列產生任務。它在搜尋樹的每一層只保留前 k 個最有希望的節點(k 稱為 beam width),進而在可接受的運算資源下找到高品質的結果。

運作機制

  1. 初始化
    從起始節點開始,將所有候選結果展開,計算每個候選的概率或評分。
  2. 節點擴展
    在每一步,僅對目前保留的 top k(beam width)候選進行擴展。例如:當 beam width 設為 2 時,每次只保留 2 條最高分支繼續擴展。
  3. 候選選擇
    根據當前已知的分數(如概率累積值)排名,選出分數最高的 k 個序列,其餘全數剪枝不再追蹤。
  4. 重複擴展
    不斷重複上述步驟,直到所有候選都到達結束條件(如產生結束符號、達到最大長度等)。
  5. 輸出結果
    從最後保留的序列中挑選累積評分最高的作為最終輸出。

優缺點

優點:

  • 大幅減少記憶體與時間消耗,相較於暴力搜尋。
  • 能兼顧效能與結果品質,比單純 greedy search 更能取得較佳解答。
  • 可擴展性強,適合用於大型輸出空間。

缺點:

  • 最佳解可能被剪枝而遺失,無法保證尋得全球最佳解(非最佳且不完全)。
  • 結果優劣受 beam width 影響,beam width 過小易丟失好路徑、過大則資源消耗提升。
raw-image

應用範例

  • 機器翻譯與摘要:協助生成譯文或精簡文本時,輸出更佳連貫且準確序列。
  • 語音辨識:根據音訊,尋找最有可能的字詞序列組合。
  • 聊天機器人產生回應:從多個潛在答案中,選出語意連貫度最高者。

參考說明

Beam Search 成為現代 NLP 及生成式 AI 過程中最常用的解碼技術之一,尤其在 Transformer 等 encoder-decoder 架構模型中廣泛使用,用來在推理階段取得品質最優化的輸出。

留言
avatar-img
留言分享你的想法!
avatar-img
郝信華 iPAS AI應用規劃師 學習筆記
30會員
495內容數
現職 : 富邦建設資訊副理 證照:經濟部 iPAS AI應用規劃師 AWS Certified AI Practitioner (AIF-C01)
2025/07/15
基本概念 In-Context Learning(ICL) 就是讓大型語言模型(LLM)在「不經過額外微調」的情形下,只靠你在 prompt(提示)裡提供的數個範例,就能根據這些範例推理與產生符合新任務需求的回應。 在 ICL 過程中,模型的參數不會因為這些範例而被更新,即「學習」的過程僅發生於
2025/07/15
基本概念 In-Context Learning(ICL) 就是讓大型語言模型(LLM)在「不經過額外微調」的情形下,只靠你在 prompt(提示)裡提供的數個範例,就能根據這些範例推理與產生符合新任務需求的回應。 在 ICL 過程中,模型的參數不會因為這些範例而被更新,即「學習」的過程僅發生於
2025/07/14
Feature engineering(特徵工程)是機器學習中將原始資料轉換成能更有效表示問題特徵的過程,目的是提升模型的預測準確度和泛化能力。 主要內容包括: **特徵選擇**:挑選對目標變數最有影響力的欄位或變數。 **特徵轉換**:對原始資料做數學或統計轉換,如標準化、正規化、對數變
2025/07/14
Feature engineering(特徵工程)是機器學習中將原始資料轉換成能更有效表示問題特徵的過程,目的是提升模型的預測準確度和泛化能力。 主要內容包括: **特徵選擇**:挑選對目標變數最有影響力的欄位或變數。 **特徵轉換**:對原始資料做數學或統計轉換,如標準化、正規化、對數變
2025/07/10
Continued pre-training 指的是在已有的預訓練模型基礎上,使用新的資料或特定領域的數據,進一步進行訓練以提升模型在該領域或任務上的表現。這種方法常用於大型語言模型或基礎模型(foundation models),讓模型能更好地適應特定應用場景。 主要概念 • 基礎模型(Fo
2025/07/10
Continued pre-training 指的是在已有的預訓練模型基礎上,使用新的資料或特定領域的數據,進一步進行訓練以提升模型在該領域或任務上的表現。這種方法常用於大型語言模型或基礎模型(foundation models),讓模型能更好地適應特定應用場景。 主要概念 • 基礎模型(Fo
看更多
你可能也想看
Thumbnail
去歐洲真的是又興奮又緊張。網路上常說歐洲治安不好,行前說明會時領隊也提醒:「不要背後背包,隨身物要放在前面比較安全!」 但出國玩總是想打扮得美美的啊~而且隨身總得帶些實用小物:雨傘、濕紙巾、小瓶水、萬用藥膏……體積雖小,但零零總總裝起來也不少。我在蝦皮購買了這4樣超實用旅遊好物!減緩我的焦慮感。
Thumbnail
去歐洲真的是又興奮又緊張。網路上常說歐洲治安不好,行前說明會時領隊也提醒:「不要背後背包,隨身物要放在前面比較安全!」 但出國玩總是想打扮得美美的啊~而且隨身總得帶些實用小物:雨傘、濕紙巾、小瓶水、萬用藥膏……體積雖小,但零零總總裝起來也不少。我在蝦皮購買了這4樣超實用旅遊好物!減緩我的焦慮感。
Thumbnail
開箱 3 套深受 0-6 歲寶寶喜愛的互動式童書,包含 Bizzy Bear 推拉書、小小音樂大師有聲書、Poke A Dot 泡泡書,有效提升寶寶閱讀興趣與親子共讀時光。搭配蝦皮雙 11 購物攻略,教你如何鎖定免運、折價券、高額回饋,並透過蝦皮分潤計畫,將日常購物開銷轉化為穩定育兒基金,聰明消費。
Thumbnail
開箱 3 套深受 0-6 歲寶寶喜愛的互動式童書,包含 Bizzy Bear 推拉書、小小音樂大師有聲書、Poke A Dot 泡泡書,有效提升寶寶閱讀興趣與親子共讀時光。搭配蝦皮雙 11 購物攻略,教你如何鎖定免運、折價券、高額回饋,並透過蝦皮分潤計畫,將日常購物開銷轉化為穩定育兒基金,聰明消費。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 45,我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 45,我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)
Thumbnail
給定一個字串陣列,請把它們所共有的字元伴隨著出現次數輸出。這篇文章介紹如何使用字典統計出現次數,和字典取交集的方法來解決此問題。並提供了複雜度分析和關鍵知識點。
Thumbnail
給定一個字串陣列,請把它們所共有的字元伴隨著出現次數輸出。這篇文章介紹如何使用字典統計出現次數,和字典取交集的方法來解決此問題。並提供了複雜度分析和關鍵知識點。
Thumbnail
Leetcode 精選75題 題目與題解 熱門考點 目錄 (持續更新中) 建議從左側目錄 或者 按Ctrl+F輸入關鍵字進行搜尋
Thumbnail
Leetcode 精選75題 題目與題解 熱門考點 目錄 (持續更新中) 建議從左側目錄 或者 按Ctrl+F輸入關鍵字進行搜尋
Thumbnail
接著介紹可以尋找文字的函式:FIND 跟 SEARCH。這兩個函式都會回傳指定文字第一次出現的位置,而這位置會以數字表示。
Thumbnail
接著介紹可以尋找文字的函式:FIND 跟 SEARCH。這兩個函式都會回傳指定文字第一次出現的位置,而這位置會以數字表示。
Thumbnail
這篇文章,會帶著大家複習以前學過的二元搜尋樹(Binary Search Tree)框架, 並且以二分搜尋樹的概念與定義為核心, 貫穿一些相關聯的題目,透過框架複現來幫助讀者理解這個演算法框架。 二元搜尋樹(Binary Search Tree)的定義
Thumbnail
這篇文章,會帶著大家複習以前學過的二元搜尋樹(Binary Search Tree)框架, 並且以二分搜尋樹的概念與定義為核心, 貫穿一些相關聯的題目,透過框架複現來幫助讀者理解這個演算法框架。 二元搜尋樹(Binary Search Tree)的定義
Thumbnail
這篇文章,會帶著大家複習以前學過的二分搜尋法(Binary Search)框架, 並且以二分搜尋法的概念為核心, 貫穿一些相關聯的題目,透過框架複現來幫助讀者理解這個實用的演算法框架。 Binary search 二分搜尋法框架 用途: 在已經排序好的數列中尋找目標值。
Thumbnail
這篇文章,會帶著大家複習以前學過的二分搜尋法(Binary Search)框架, 並且以二分搜尋法的概念為核心, 貫穿一些相關聯的題目,透過框架複現來幫助讀者理解這個實用的演算法框架。 Binary search 二分搜尋法框架 用途: 在已經排序好的數列中尋找目標值。
Thumbnail
題目會給定一個陣列nums和一個目標值goal。計算子陣列總和=goal的數目有多少。演算法包含前綴和和字典的技巧,時間複雜度為O(n),空間複雜度為O(n)。
Thumbnail
題目會給定一個陣列nums和一個目標值goal。計算子陣列總和=goal的數目有多少。演算法包含前綴和和字典的技巧,時間複雜度為O(n),空間複雜度為O(n)。
Thumbnail
題目敘述 題目會給定兩個輸入。 第一個輸入是關鍵字清單products,第二個是使用者輸入的字串searchWord。 要求我們實現關鍵字搜尋建議系統,使用者每輸入一個字元就推薦一次。 推薦時,優先返回字典序(Lecial order)最接近的關鍵字,最多不要超過三個關鍵字。 題目的原文
Thumbnail
題目敘述 題目會給定兩個輸入。 第一個輸入是關鍵字清單products,第二個是使用者輸入的字串searchWord。 要求我們實現關鍵字搜尋建議系統,使用者每輸入一個字元就推薦一次。 推薦時,優先返回字典序(Lecial order)最接近的關鍵字,最多不要超過三個關鍵字。 題目的原文
Thumbnail
解決電腦上遇到的問題、證明正確性、探討效率 並且很著重溝通,說服別人你做的事是正確且有效率的。 內容: 計算模型、資料結構介紹、演算法介紹、時間複雜度介紹。
Thumbnail
解決電腦上遇到的問題、證明正確性、探討效率 並且很著重溝通,說服別人你做的事是正確且有效率的。 內容: 計算模型、資料結構介紹、演算法介紹、時間複雜度介紹。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News