中文分詞語料庫與數據清洗

1. 資訊檢索
2. 機器翻譯
3. 語言分析
4. 語言了解
5. 訊息抽取
6. 自然語言人機介面

規範類

標點符號的規範

中文標點符號雖然只有幾種，但在萬國碼（unicode）之中卻存在很多近似的圖案。有些輸入法的作者對此並不熟悉，不知道該規範使用，有些基於預測的輸入法也未給出規範的用法，加上使用者以方便為主隨意打出的標點。都可能造成語料本身存在很多非規範的標點符號。

顯然中文標點符號應該規範，而且是非常容易做到的事情。很顯然，可以規範而不規範是一個很重大的疏失，而其根本原因在於語料庫的規劃者未曾思考過類似的問題。

詞彙的規範

有些詞存在異體形式，而異體形式又是因為存在異體字而來。譬如「沉默、沈默」，「沈」是「沉」的異體字。但要進行異體形式的規範化並不容易，最簡單的無非是用一個對照表，等分詞結束後進行替換（分詞前進行強制替換只會造成更多錯誤，因為上下文偶合的情況可能很多。）。但這種簡單粗暴的做法雖然方便，卻無疑會引發一些錯誤產生。譬如如果有一個叫做「沈默」的人，就可能被替換為「沉默」。替換之後的結果自然是錯誤的。當然，相比之下，除非你的語料庫之中收了一本小說，剛好有「沈重、沈默」等人，否則其影響是可以忽略不計的。

以「沉重、沈重」這兩個詞彙來說，其分佈結果如下：

找出含有以下詞彙的句子：沉重

共找出：52句！

找出含有以下詞彙的句子：沈重

共找出：78句！

除此外，中研院的語料庫還存在簡體字，這也屬於規範化問題，因為簡體字相對於繁體字也屬於異體字的範疇。但很多簡體字是很容易找出並替換的。譬如：

包括　靈感　來自　楊貴妃　的　華清池　浴　與　中藥　枸杞　、　冬虫夏草　等　口味　共　四　種　，

才　發現　丹紐　僅　攜帶　一　只　旅行箱　，

例如　服務　那　些　公益　機構　才　可　折抵　役期　、　役男　必須　提出　有效　的　証明　文件　等　。

日本　溫泉　協會　推荐　的　湯　之　花

隨便拿一個簡體字表掃一下也能找出很多，只要不是「歸併字」（譬如「後、后」被簡體字歸併為「后」。），都是很容易找出與直接替換的。

很多錯誤看似很小，在大數據宣傳的早期，宣傳者都信心滿滿的說這點小錯在大數據面前不值一提！可惜的是，每一種小錯雖然都可能只牽涉到十筆乃至千筆資料，但一種類別的小錯可能有成百上千個實例，譬如就詞彙的規範化來說「沉默、沈默」、「公布、公佈」、「家具、傢俱」等等等總數成百上千、實例可以觸及數萬乃至數十萬（看規模而定）。這類非規範化的詞彙與用字隨便都能牽扯到數萬個句子。每一個都很小，但加起來的量就可以覆蓋到很大的範圍從而造成非常多的困擾！當然也必然讓機器學習的結果大打折扣！

重複類

錯誤類

錯誤的詞彙導致的錯誤

去　追求　獨立　自主　的　格人　，

其他還有諸如「彫刻、雕刻」等等等，錯誤的詞彙很多，就不再一一羅列了。

最扯的一點是什麼？那就是測試集中出現亂碼的地方，CKIP的解法竟然是一致的。這些錯字以及其所形成的錯誤詞彙不僅會佔據空間、瓜分頻率（頻率、向量），更重要的是假設原本的正確詞彙的集合對應了一個中文上下文偶合的子集，由於一大堆的錯誤詞彙摻入了詞彙庫之中，將使這個上下文偶合的子集的成員或稱可能性大增。而CKIP之所以能「精準的」對這樣的句子斷詞，乃在於這個集子本身也是所謂的「訓練集」而非「測試集」。以以下的實例而論，「芘捸Ｃ」是百分之一百的亂碼（僅舉一例），而且是中文與英文混雜的亂碼。按理說，中文後接英文的狀況很少見，常見的是英文後接中文的。但CKIP卻神奇的分詞正確了，說是神奇真是一點也不神奇。說穿了，就是過擬合，說穿了，就是所謂「測試集」也是CKIP「訓練集」的一部份罷了。

而且以下的錯字，無一例外的可以通過中研院自己的錯字偵測系統，也就是被當成對的意思。這一切都表明了這些錯字、錯詞都已經是CKIP的一部分了！

芘捸Ｃ　在　ＰＳＩ　大於　１００　的　主要　污染物　別比率　為　懸浮　微粒　占　７１．５　％　，

芘捸Ｃ(FW)　在(P)　ＰＳＩ(FW)　大於(VJ)　１００(Neu)　的(DE)　主要(A)　污染物別(Na)　比率(Na)　為(VG)　懸浮(VA)　微粒(Na)　占(VJ)　７１．５％(Neqa)　，(COMMACATEGORY)

(9, 12, 'CARDINAL', '１００')

(27, 32, 'PERCENT', '７１．５％')

（８８）　由　社區　、　機關　、　學校　等　從事　回數　工作　。

垃圾　年　成長率　由　八十年度　的　１０　％　降至　八十四年度　的　２　％　，

顯見　垃圾　減量　及　資源　回數　已　見　成效　。

37.，想改月租費又拾不得那一千二的設定費，（這個錯字依然可以通過中研院的錯字偵測系統）

37(Neu) .(PERIODCATEGORY)　，(COMMACATEGORY)　想(VE)　改(VC)　月租費(Na)　又(D) 拾不得(VC)　那(Nep)　一千二(Neu)　的(DE)　設定費(Na)　，(COMMACATEGORY)

(14, 17, 'CARDINAL', '一千二')

其中「回數」是「回收」的錯誤、「拾不得」是「捨不得」的錯誤。但都已經被當成對的了，這樣搞出來的校對系統，你敢用？今天進行實測，首先用這一句丟入中研院的校對系統，得到以下結果：

「拾不得」無法被改正。如果做略為改動「想換月租費又拾不得那一千二的設定費」把「改」替換成「換」，無法找出錯誤。

接著我自己編了一句簡單的（就別為難這種系統了），「怎麼就拾不得離開了」，得到以下結果：

錯誤被揪出來了。這樣不穩定的結果，你能信任嗎？

由於中研院採用雙向LSTM技術，所以額外多試幾句：

數句合併，越後面改的幅度越大，依然沒有揪出錯誤。

把句子改成「想改月租費又捨拾不得那一千二的設定費」，找不出錯誤。

再改成「想改月租費又拾捨不得那一千二的設定費」，給出如下錯誤建議：

除此外，測試集的詞庫也存在非常多的「非詞」，也就是不是詞彙的字串。譬如「得很、給我」，以及類似「GORY)經驗」這樣的亂七八糟的字串，其中有些可能源自於沒有分詞好的人工失誤，也普遍存在於測試集的分詞結果之中。

連續的分詞間隔符號

兩個全型空白，全形空白為其斷詞分隔符號。這些算是小雜訊。但一大堆的小雜訊湊在一起就變成大雜訊。譬如：

1.　　０２ )　２８８０３６３６　。

菁芳園　　０４ )　８２２３５３５　。

長壽元　是　可　治　虛冷　、　疲勞　甚至　痔瘡　的　日本　百補湯　　NT　２００　台隆　)　。

無意義的句子

無意義的句子，有可能正確有可能不正確，屬於雜訊。

他　一點　也　不　懷疑　她　是　賺門　而　如　的　假貨　。

ＬｉｂｒａｒｙａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＡｓｓｏｃｉａｔｉｏｎ

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

類似以上的整句都是全型英文或者符號的句子，也不該放入語料庫之中。

標準類

不可避免的詞彙

有些詞，我們是能避免收入詞彙庫之中的，譬如「技術人員、太陽能電池」，但有些詞，它本身就存在多種可能，是無法從詞彙庫「收與不收」來加以解決的，譬如「才能、都會、國中」，其分開與合併的形式都各有意義，因此詞彙庫收詞無法避免收入「才能、都會」。如此一來，單純使用字典分詞法的最大匹配就永遠無法正確對牽涉到「才能、都會」的句子進行分詞，而類似「才能、都會」都是極高頻率的常見字串，如此一來，錯誤率必然大增！

語料庫收詞標準不一，起因於分詞標準不一，如「二 月、十幾 號」有分開的也有合併的，應採用一致的標準。從語料庫提取的十四萬多組之中，共有九千多組（９０２７組）在實際分詞中呈現標準不一的詞彙，這些詞彙所牽涉到的句子多達四十五萬句左右（總數六十幾萬句，由原七十幾萬句刪除重複而得。）。換句話說，當分詞系統分到這些詞卻採用統一的標準來分時，會得到很低的分數。以「技術人員」為例，分合幾乎各佔一半。

技術人員 22 24

令　人　感受到　一　種　屬於　技術人員　的　無華　風采　。

並　很　快　成為　該　所　的　技術人員　。

研究　與　技術人員　雙方　在　此　一　合作　過程　中　，

其　主要　目的　係　讓　所有　美國　科學家　及　工程　技術人員　能　共享　資料　，

行政　或　技術人員　，

由於　沒　能　正確　的　認識　技術　人員　與　支援　學術　工作　的　人　在　學術　機構　扮演　重要　角色　，

即　需要　許多　何　先生　型　的　技術　人員　協助　；

此外　也　獲得　物理所　訓練有素　之　多　位　技術　人員　的　支持　。

合理　地　納入　支援　研究　的　技術　人員　，

在　編制　內　合理　地　納入　支援　研究　的　技術　人員　，

結論