[發明專利]一種基于多層隱馬模型的分詞方法及系統

在審

• 申請號: 202010531204.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111767734A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 李強;余祥;朱峰;陳立哲;李騰飛;顧正海
• 申請（專利權）人: 安徽旅賁科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

本發明公開了一種基于多層隱馬模型的分詞方法及系統，屬于人工智能技術領域，包括：對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖；利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖；利用基于詞分類的隱馬模型對修正后的二元切分詞圖進行處理，得到所述原始字符串對應的分詞序列。本發明有效將機器學習算法和詞典相結合，兼顧運行效率和準確率。

技術領域

本發明涉及人工智能技術領域，特別涉及一種基于多層隱馬模型的分詞方法及系統。

背景技術

分詞算法是人工智能技術領域自然語言處理中比較基礎的部分，對語料進行分詞，分詞的結果可以應用于搜索、語義分析等各種領域。而中文本身的復雜性及語言規則的不確定性，使中文分詞技術成為分詞技術中的難點。

目前常用的分詞方法一般有：基于詞典分詞算法也稱字符串匹配分詞算法(正向最大匹配法、逆向最大匹配法和雙向匹配分詞法等)和基于統計的機器學習算法(如HMM、CRF、SVM、深度學習等算法等)。這些分詞方法存在的缺陷在于：基于詞典的分詞算法是應用最廣泛、分詞速度最快的，但分詞準確率有待提高，尤其是在處理復雜命名實體以及專用名詞時的準確率不高；基于統計的機器學習算法需要基于語料庫進行標注訓練，效率上會有一定影響，準確率受語料庫的影響也較大。

發明內容

本發明的目的在于提供一種分詞結果準確的多層隱馬模型分詞方法，有效將機器學習算法和詞典相結合，兼顧運行效率和準確率。

為實現以上目的，采用一種基于多層隱馬模型的分詞方法，包括如下步驟：

對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖；

利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖；

利用基于詞分類的隱馬模型對修正后的二元切分詞圖進行處理，得到所述原始字符串對應的分詞序列。

進一步地，所述對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖，包括：

對所述原始字符串進行原子切分，得到所述原始字符串對應的原子分詞序列；

采取N-GRAM方法對原子分詞序列進行處理，得到能覆蓋歧義的最佳N個分詞結果；

由N個分詞結果中最大概率的分詞結果形成所述初步分詞的二元切分詞圖。

進一步地，所述未登錄詞包括未登錄詞中的人名、地名、機構名和專用詞，所述多層隱馬模型包括人名識別隱馬模型、地名識別隱馬模型以及機構名和專用詞識別隱馬模型。

進一步地，所述利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖，包括：

利用所述人名識別隱馬模型對所述能覆蓋歧義的最佳N個分詞結果進行人名識別，得到人名識別結果，并利用人名識別結果對所述初步分詞的二元切分詞圖進行人名修正，得到人名修正后的二元切分詞圖；

利用所述地名識別隱馬模型對人名識別結果進行地名識別，得到地名識別結果，并利用地名識別結果對人名修正后的二元切分詞圖進行修正，得到地名修正后的二元切分詞圖；

利用所述機構名和專用詞識別隱馬模型對地名識別結果進行識別，得到機構名及專用詞識別結果，并利用機構名及專用詞識別結果對所述地名修正后的二元切分詞圖進行修正，得到所述修正后的二元切分詞圖。

進一步地，所述利用所述人名識別隱馬模型對所述能覆蓋歧義的最佳N個分詞結果進行人名識別，得到人名識別結果，包括：

將熟語料庫中已標注的句子按照人名角色進行劃分，并對人名角色信息進行統計，抽取出人名角色信息；