[發(fā)明專利]基于Bi-LSTM和字詞融合的漢語分詞方法

在審

• 申請?zhí)枺?/td>: 202011069225.4
• 申請日: 2020-09-30
• 公開（公告）號: CN112307756A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 張繼勇;路統(tǒng)宇
• 申請（專利權(quán)）人: 浙江漢德瑞智能科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06N3/04
• 代理公司: 杭州昱呈專利代理事務(wù)所(普通合伙) 33303
• 代理人: 雷仕榮

本發(fā)明公開了基于Bi?LSTM和字詞融合的漢語分詞方法，基于Bi?LSTM和字詞融合的漢語分詞系統(tǒng)包括依次連接的邊界標(biāo)注模塊、字詞融合模塊、特征提取模塊和中文分詞模塊，采用上述系統(tǒng)的方法包括以下步驟：S10，對待訓(xùn)練中文語料做邊界標(biāo)注；S20，進(jìn)行字詞融合；S30，特征提取：將字詞向量序列V_K輸入Bi?LSTM，監(jiān)督標(biāo)簽為S10中的邊界標(biāo)注信息，經(jīng)過若干輪迭代訓(xùn)練提取出分詞所需要的文本特征；S40，進(jìn)行分詞：將待分詞的中文文本輸入訓(xùn)練好的Bi?LSTM中，得到文本中每個字的標(biāo)注信息，再根據(jù)標(biāo)注信息對文本進(jìn)行分詞。

技術(shù)領(lǐng)域

本發(fā)明屬于循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，涉及一種基于Bi-LSTM和字詞融合的漢語分詞方法。

背景技術(shù)

漢語分詞，即對連續(xù)漢字序列按照一定規(guī)則進(jìn)行分詞，不同于印歐語系其句子中詞與詞之間通常使用空白進(jìn)行分隔，漢語文本中通常只在句子與句子、段落與段落間使用符號隔開，單獨的句子中詞與詞之間沒有任何分隔符，書寫連續(xù)，人們閱讀時需按照學(xué)習(xí)到的思維模式首先對漢語句子進(jìn)行劃分，再理解其中包含的深層含義。同時，我們對中文資料進(jìn)行檢索時，計算機應(yīng)首先提取出我們輸入的漢語句子中的關(guān)鍵信息，其次才能實現(xiàn)檢索等功能；在我們進(jìn)行人機交互的過程中，計算機往往需要提取出漢語文本中包含的情感、立場以及態(tài)度等深層的、主觀的信息，這同樣是離不開漢語分詞的工作，因此，對漢語進(jìn)行分詞處理是十分必要的。

現(xiàn)有技術(shù)中，根據(jù)分詞方式的不同，可以將漢語分詞技術(shù)分為三大類：查詢詞典式，基于數(shù)理統(tǒng)計式和傳統(tǒng)機器學(xué)習(xí)式。

1.基于詞典查詢的中文分詞技術(shù)

上世紀(jì)九十年代末期，中文分詞技術(shù)普遍采用詞典查詢的形式，常用方法如最大匹配法、最少切分法等。這種方法可以視為在詞典中尋找匹配的詞語的過程，分詞的精度高，操作起來較為簡單，易于上手。

但是這種分詞方式的缺點也顯而易見，其需要維護(hù)一個龐大的詞典，詞典的廣度、深度和質(zhì)量往往直接影響到分詞的準(zhǔn)確度，例如，若詞典中不存在待分詞句子存在的詞語時，基于詞典的分詞方法往往會將該詞語錯誤地切分為其他詞語，因此導(dǎo)致這種方法對歧義詞的識別能力不足，也無法解決未登錄詞的問題，分詞的速度一般，需要消耗大量的人力，拓展性和魯棒性較差。

2.基于數(shù)理統(tǒng)計的中文分詞技術(shù)

基于數(shù)理統(tǒng)計的中文分詞方法通常要在分詞前對待處理文本中的單字以及相鄰多個單字做統(tǒng)計學(xué)方面的統(tǒng)計，對多次出現(xiàn)的連續(xù)單字做出為一個詞的判斷，例如常用的方法有基于最大熵模型的命名實體識別、基于隱馬爾可夫模型的詞性標(biāo)注以及條件隨機場等。

這種基于數(shù)理統(tǒng)計的方法對歧義詞以及未登錄詞的識別能力強，不受語料庫涉及的領(lǐng)域影響，但該方法需要大量的語料庫作為模型的訓(xùn)練數(shù)據(jù)，并且若在文本中出現(xiàn)多次口語性的表述時，其往往會將一些多次出現(xiàn)的語氣助詞與其相鄰的單字統(tǒng)計為一個詞語，無法從深層語義層面對文本進(jìn)行分詞，同時，該基于數(shù)理統(tǒng)計的分詞方法的識別速度還有待提高。

3.基于傳統(tǒng)機器學(xué)習(xí)的中文分詞技術(shù)

基于傳統(tǒng)機器學(xué)習(xí)的中文分詞技術(shù)主要是將傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)應(yīng)用到待分詞文本的序列標(biāo)注問題上，其實質(zhì)上是將分詞問題轉(zhuǎn)化為分類問題，即單字在句子中的標(biāo)注問題。

在機器學(xué)習(xí)逐漸興起之后，由于其只需要對文本特征進(jìn)行標(biāo)注，機器便可以自動學(xué)習(xí)文本中包含的深層次的特征，基于傳統(tǒng)的機器學(xué)習(xí)的中文分詞方法展現(xiàn)出了巨大的優(yōu)勢，該方法的優(yōu)點是可以將詞典詞與未登錄詞作同等對待處理，但該方法的分詞質(zhì)量取決于人為選取的特征，存在一定的局限性。

發(fā)明內(nèi)容