[發明專利]一種基于多層隱馬模型的分詞方法及系統

在審

• 申請號: 202010531204.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111767734A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 李強;余祥;朱峰;陳立哲;李騰飛;顧正海
• 申請（專利權）人: 安徽旅賁科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

1.一種基于多層隱馬模型的分詞方法，其特征在于，包括：

對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖；

利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖；

利用基于詞分類的隱馬模型對修正后的二元切分詞圖進行處理，得到所述原始字符串對應的分詞序列。

2.如權利要求1所述的基于多層隱馬模型的分詞方法，其特征在于，所述對輸入的原始字符串進行預處理，得到初步分詞的二元切分詞圖，包括：

對所述原始字符串進行原子切分，得到所述原始字符串對應的原子分詞序列；

采取N-GRAM方法對原子分詞序列進行處理，得到能覆蓋歧義的最佳N個分詞結果；

由N個分詞結果中最大概率的分詞結果形成所述初步分詞的二元切分詞圖。

3.如權利要求2所述的基于多層隱馬模型的分詞方法，其特征在于，所述未登錄詞包括未登錄詞中的人名、地名、機構名和專用詞，所述多層隱馬模型包括人名識別隱馬模型、地名識別隱馬模型以及機構名和專用詞識別隱馬模型。

4.如權利要求3所述的基于多層隱馬模型的分詞方法，其特征在于，所述利用多層隱馬模型對原始字符串進行未登錄詞識別，以對初步分詞的二元切分詞圖進行修正，得到修正后的二元切分詞圖，包括：

利用所述人名識別隱馬模型對所述能覆蓋歧義的最佳N個分詞結果進行人名識別，得到人名識別結果，并利用人名識別結果對所述初步分詞的二元切分詞圖進行人名修正，得到人名修正后的二元切分詞圖；

利用所述地名識別隱馬模型對人名識別結果進行地名識別，得到地名識別結果，并利用地名識別結果對人名修正后的二元切分詞圖進行修正，得到地名修正后的二元切分詞圖；

利用所述機構名和專用詞識別隱馬模型對地名識別結果進行識別，得到機構名及專用詞識別結果，并利用機構名及專用詞識別結果對所述地名修正后的二元切分詞圖進行修正，得到所述修正后的二元切分詞圖。

5.如權利要求4所述的基于多層隱馬模型的分詞方法，其特征在于，所述利用所述人名識別隱馬模型對所述能覆蓋歧義的最佳N個分詞結果進行人名識別，得到人名識別結果，包括：

將熟語料庫中已標注的句子按照人名角色進行劃分，并對人名角色信息進行統計，抽取出人名角色信息；

使用N-Best viterbi算法對所述能覆蓋歧義的最佳N個分詞結果進行角色的自動標注，得到概率最大的標注結果；

利用抽取出的人名角色信息對概率最大的標注結果進行修正，得到所述人名識別結果。

6.如權利要求4所述的基于多層隱馬模型的分詞方法，其特征在于，所述利用所述地名識別隱馬模型對人名識別結果進行地名識別，得到地名識別結果，包括：

將熟語料庫中已標注的句子按照地名角色進行劃分，并對地名角色信息進行統計，抽取出地名角色信息；

使用N-Best viterbi算法對所述人名識別結果進行角色的自動標注，得到概率最大的標注結果；

利用抽取出的地名角色信息對概率最大的標注結果進行修正，得到所述地名識別結果。

7.如權利要求4所述的基于多層隱馬模型的分詞方法，其特征在于，所述利用所述機構名和專用詞識別隱馬模型對地名識別結果進行識別，得到機構名及專用詞識別結果，包括：

將熟語料庫中已標注的句子按照機構名及專用詞角色進行劃分，并對機構名及專用詞角色信息進行統計，抽取出機構名及專用詞角色信息；

使用N-Best viterbi算法對所述人名識別結果進行角色的自動標注，得到概率最大的標注結果；

利用抽取出的機構名及專用詞角色信息對概率最大的標注結果進行修正，得到所述機構名及專用詞識別結果。