[發明專利]一種中文的分詞方法及裝置

有效

• 申請號: 201711115252.9
• 申請日: 2017-11-13
• 公開（公告）號: CN107918604B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 楊良志;汪志新;丁德平;王向軍
• 申請（專利權）人: 彩訊科技股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種中文的分詞方法，其特征在于，所述方法包括：

獲取待分詞文本的特征信息，其中，所述特征信息包括段落劃分、標點符號或空格符中至少之一；

根據所述特征信息，確定所述待分詞文本中的所有自然區間；

將所述自然區間劃分為歧義區間和非歧義區間；

所述將所述自然區間劃分為歧義區間和非歧義區間，包括：

根據預設字符編碼規則，將所述待分詞文本中每個字符對應的字節信息存入字符矩陣，直到存入所有自然區間；

在預設基礎詞典和預設分類詞典中查詢所述字符矩陣中的第N+K個字符與第N個字符是否構成詞組，若是，則將所構成詞組的屬性信息存儲到與所述字符矩陣對應的關聯矩陣；其中，N和K均為整數，用于表示字符矩陣中的字符個數；

基于所述關聯矩陣遍歷所述自然區間中的每個字符，將所述自然區間劃分為歧義區間和非歧義區間；

確定所述歧義區間中的候選詞，并將所述候選詞與所述非歧義區間中的文本進行匹配；

根據匹配結果確定所述候選詞的分詞規則，并按照所述分詞規則對所述歧義區間的文本進行分詞處理。

2.根據權利要求1所述的方法，其特征在于，基于所述關聯矩陣遍歷所述自然區間中的每個字符，將所述自然區間劃分為歧義區間和非歧義區間，包括：

對于所述自然區間中的任意字符，如果在所述關聯矩陣中為單個字符或只屬于單個詞，則將所述自然區間確定為非歧義區間；

如果所述自然區間中的字符在所述關聯矩陣中同時屬于依次排列的至少兩個詞，則將所述至少兩個詞所在的區間確定為歧義區間；

相應的，所述確定所述歧義區間中的候選詞，包括：

將所述關聯矩陣中依次排列的，且包含有相同字符的至少兩個詞均作為所述歧義區間中的候選詞。

3.根據權利要求1所述的方法，其特征在于，根據匹配結果確定所述候選詞的分詞規則，并按照所述分詞規則對所述歧義區間的文本進行分詞處理，包括：

如果所述候選詞與所述非歧義區間中的詞語相匹配，則統計所述候選詞在所述非歧義區間中出現的第一頻率；其中，所述非歧義區間中的詞語為基于預設原始分詞算法進行第一分詞預處理后的詞語；

基于所述第一頻率確定所述候選詞所對應的候選切分規則的權重，并按照權重最大的候選切分規則對所述歧義區間的文本進行分詞處理。

4.根據權利要求3所述的方法，其特征在于，基于所述第一頻率確定所述候選詞所對應的候選切分規則的權重之后，所述方法還包括：

統計所述候選詞在預設分類詞典中出現的第二頻率；

基于所述第二頻率，累加所述候選切分規則的權重，得到權重最大的候選切分規則。

5.根據權利要求4所述的方法，其特征在于，所述將所構成詞組的屬性信息存儲到與所述字符矩陣對應的關聯矩陣之后，所述方法還包括：

讀取所述屬性信息，并累加與所述屬性信息對應的分類權重計數器的計數值；

相應的，所述統計所述候選詞在預設分類詞典中出現的第二頻率，包括：

將所述分類權重計數器的最大計數值所對應的預設分類詞典作為目標分類詞典；

統計所述候選詞在所述目標分類詞典中出現的第二頻率。

6.根據權利要求1所述的方法，其特征在于，所述獲取待分詞文本的特征信息之前，所述方法還包括：

基于爬蟲算法，獲取第一設定數量的不同專業領域的文章，并將所述文章按照對應的專業領域進行存儲，得到分類文本；

基于預設原始分詞算法對所述分類文本進行第二分詞預處理，獲取不同專業對應的所述分類文本中的詞組以及所述詞組對應的詞頻；

將超過第二設定數量的詞頻所對應的詞組作為目標詞組，并將不同專業對應的所有目標詞組的集合確定為預設分類詞典。