[發明專利]一種分詞方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202011054725.0
• 申請日: 2020-09-25
• 公開（公告）號: CN112131866A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 白安琪;蔣寧;王洪斌;吳海英;趙立軍
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;王丹

1.一種分詞方法，其特征在于，包括：

獲取第一文本，第二文本以及預設的詞模，其中，所述第二文本為根據所述第一文本生成的摘要文本；

分別獲取所述第一文本的第一分詞文本以及所述第二文本的第二分詞文本；

對于所述第二分詞文本中的目標詞，從所述第一分詞文本中獲取至少一個待檢測語言片段，其中，每個待檢測語言片段均包括含有所述目標詞的目標待檢測語言片段；

將至少一個所述目標待檢測語言片段和所述詞模進行匹配，得到匹配結果；

根據所述匹配結果和所述目標詞在所述第一分詞文本中的初始的詞邊界分隔方式，確定所述第一分詞文本的最終的詞邊界分隔方式。

2.根據權利要求1所述的方法，其特征在于，所述分別獲取所述第一文本的第一分詞文本以及所述第二文本的第二分詞文本之后，所述方法還包括：

在所述第一分詞文本中確定所述目標詞的相關詞以及所述相關詞的詞性；其中，所述相關詞在所述第一分詞文本中的出現位置與所述目標詞在所述第一分詞文本中的出現位置相鄰。

3.根據權利要求1所述的方法，其特征在于，將至少一個所述目標待檢測語言片段和所述詞模進行匹配，得到匹配結果，包括：

在所述目標待檢測語言片段中，將所述目標詞與所述目標詞的第一相鄰詞形成的組合，與所述詞模進行匹配；

如果所述組合和所述詞模中的目標基準詞匹配，則將所述組合作為候選詞，并得到所述候選詞在所述目標待檢測語言片段中的候選詞邊界分隔方式。

4.根據權利要求3所述的方法，其特征在于，所述根據所述匹配結果和所述目標詞在所述第一分詞文本中的初始的詞邊界分隔方式，確定所述第一分詞文本的最終的詞邊界分隔方式，包括：

如果所述至少一個待檢測語言片段中，與所述目標基準詞匹配的待檢測語言片段的數量小于或等于與所述目標基準詞不匹配的待檢測語言片段的數量，則利用所述目標詞在第一分詞文本中的初始的詞邊界分隔方式作為最終的詞邊界分隔方式；

如果所述至少一個待檢測語言片段中，與所述目標基準詞匹配的待檢測語言片段的數量大于與所述目標基準詞不匹配的待檢測語言片段的數量，則重新確定最終的詞邊界分隔方式。

5.根據權利要求4所述的方法，其特征在于，對于每個用于與所述詞模進行匹配的目標待檢測語言片段，且需重新確定最終的詞邊界分隔方式的，所述重新確定最終的詞邊界分隔方式，包括：

獲取所述目標詞在所述第一分詞文本中初始的目標詞邊界分隔方式；

根據所述初始的目標詞邊界分隔方式以及所述目標詞在所述第一分詞文本中的位置，計算第一綜合混淆度；

根據所述候選詞邊界分隔方式以及所述候選詞在所述第一分詞文本中的位置，計算第二綜合混淆度；

將所述第一綜合混淆度和所述第二綜合混淆度進行比較，得到比較結果；

根據所述比較結果，確定最終的詞邊界分隔方式。

6.根據權利要求5所述的方法，其特征在于，所述根據所述初始的目標詞邊界分隔方式以及所述目標詞在所述第一分詞文本中的位置，計算第一綜合混淆度，包括：

將所述目標詞對應的第一原始文本進行分段，得到第一子文本、第二子文本；其中，所述目標詞在所述第一子文本和所述第二子文本中的位置為以下情形中的至少一種：位于所述第一子文本的結尾位置，位于所述第二子文本的開始位置，所述目標詞的第二相鄰詞位于所述第一子文本的結尾位置，所述第二相鄰詞位于所述第二子文本的開始位置，所述第二相鄰詞為在所述第一分詞文本中位于所述目標詞之后的相鄰詞；

分別計算所述第一子文本的混淆度以及所述第二子文本的混淆度；

根據從每個目標待檢測語言片段中獲取的所述第一子文本的混淆度、所述第二子文本的混淆度，計算第一綜合混淆度。