「語料庫 (Corpus / Corpora)」是自然語言處理 (NLP) 領域中的一個核心概念，指的是一個結構化的、較大的文本集合，通常用於進行語言研究、模型訓練和評估。單數形式是「語料 (Corpus)」，複數形式是「語料庫 (Corpora)」。
你可以將語料庫想像成一個大型的圖書館或檔案館，裡面收集了大量的文本資料，並且這些資料通常會被組織和標註以便於研究和使用。
語料庫的主要特點：- 大量文本： 語料庫通常包含大量的文本數據，從幾千詞到數十億甚至數萬億詞不等。
- 結構化： 語料庫通常會被組織和編排，例如按照來源、主題、語言、時間等進行分類。
- 標註 (Annotation)： 許多語料庫會包含各種語言學標註信息，例如：
- 詞性標註 (Part-of-Speech Tagging): 標示每個詞語的詞性（例如名詞、動詞、形容詞）。 句法分析 (Syntactic Parsing): 提供句子的句法結構信息。 語義標註 (Semantic Annotation): 標示詞語的意義或語義關係。 命名實體標註 (Named Entity Annotation): 標示文本中的人名、地名、組織機構名等。 情感標註 (Sentiment Annotation): 標示文本的情感傾向（例如正面、負面、中性）。 共指消解標註 (Coreference Annotation): 標示文本中指向同一實體的不同表達。
- 真實語料： 語料庫通常包含真實世界中產生的文本，例如新聞文章、書籍、網頁內容、社交媒體帖子、對話記錄等。
- 代表性： 一個好的語料庫應該能夠代表目標語言或特定領域的語言使用情況。
語料庫的種類：
根據不同的標準，語料庫可以分為多種類型：
- 通用語料庫 (General-purpose Corpora): 包含各種主題和來源的文本，旨在代表一般語言的使用情況，例如英文的 British National Corpus (BNC) 和 Corpus of Contemporary American English (COCA)。
- 領域語料庫 (Domain-specific Corpora): 專注於特定領域或主題的文本，例如醫學語料庫、法律語料庫、金融語料庫等。
- 平行語料庫 (Parallel Corpora): 包含同一內容在兩種或多種語言的翻譯版本，用於機器翻譯研究和訓練。例如，Europarl 語料庫。
- 單語語料庫 (Monolingual Corpora): 只包含一種語言的文本。
- 多語語料庫 (Multilingual Corpora): 包含多種語言的文本。
- 標註語料庫 (Annotated Corpora): 包含各種語言學標註信息的語料庫。
- 未標註語料庫 (Raw Corpora): 只有原始文本，沒有額外的標註信息。
- 口語語料庫 (Spoken Corpora): 包含口語轉錄文本，例如電話對話、演講記錄等。
語料庫在 NLP 中的重要性：
語料庫是 NLP 研究和應用中不可或缺的資源，它們被廣泛用於：
- 語言學研究： 分析語言的結構、用法和演變。
- 模型訓練： 用於訓練各種 NLP 模型，例如語言模型、詞嵌入模型、分類模型等。
- 模型評估： 作為評估 NLP 模型性能的基準數據集。
- 知識獲取： 從語料庫中提取知識和信息。
- 開發和測試 NLP 工具和算法。
總之，語料庫是 NLP 領域的基石，它們為我們提供了真實的語言數據，幫助我們理解語言的規律，開發有效的 NLP 技術，並評估這些技術的性能。
