[發明專利]一種分詞方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010887529.5
• 申請日: 2020-08-28
• 公開（公告）號: CN112069812A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 王哲;覃志奎;張炫;李波;曾少斌;胡俊;顏杰;劉鴻;未波波;楊鵬偉;鐘劍哲;喬柯巖;馮子劍;郭琳琳;趙向洋;李朋;張紅玉;蘇盈盈
• 申請（專利權）人: 喜大（上海）網絡科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種分詞方法，其特征在于，包括：

劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；

循環遍歷各所述候選切片集合，得到候選分詞結果；

確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。

2.根據權利要求1所述的方法，其特征在于，所述循環遍歷各所述候選切片集合，得到候選分詞結果，包括：

確定各所述候選切片集合中候選切片的優先級順序，形成對應的優先級序列；

遍歷所述優先級序列，得到候選分詞結果。

3.根據權利要求2所述的方法，其特征在于，所述確定各所述候選切片集合中候選切片的優先級順序，形成對應的優先級序列，包括：

確定各所述候選切片集合中候選切片的長度；

將所述長度與設定值作差再取絕對值，按照由小到大的順序排列形成對應的優先級序列；

其中，當絕對值相等時，長度大的候選切片位于長度小的候選切片之前，長度為1的候選切片位于對應優先級序列的最后。

4.根據權利要求2所述的方法，其特征在于，所述遍歷所述優先級序列，得到候選分詞結果，包括：

將所述中文文本的初始字符作為當前字符以及將所述當前字符所對應優先級序列的首個候選切片作為當前候選切片；

根據所述當前候選切片的長度遍歷對應字符優先級序列的候選切片，直至得到初始分詞結果，并確定所述初始分詞結果的離散度；

遞歸遍歷對應字符優先級序列的其他候選切片，如果所述初始字符到當前遍歷到的其他候選切片所對應終點字符的離散度大于歷史離散度；或者所述初始字符到當前遍歷到的其他候選切片所對應終點字符的離散度等于歷史離散度且所述其他候選切片所對應的終點字符為所述中文文本的非終點字符，確定遍歷到的所述其他候選切片滿足剪枝條件，則刪除所述其他候選切片，否則保留所述其他候選切片，直至返回所述當前字符；

將所述當前字符所對應優先級序列的下一個候選切片作為新的當前候選切片，重復執行上述操作，直至所述當前字符所對應優先級序列的候選切片遍歷結束；

根據保留的候選切片生成候選分詞結果。

5.根據權利要求4所述的方法，其特征在于，所述確定所述初始分詞結果的離散度，包括：

確定所述初始分詞結果中各候選切片的長度；

將各所述候選切片的長度與設定值之差的絕對值之和，確定為所述初始分詞結果的離散度。

6.一種分詞裝置，其特征在于，包括：

劃分模塊，用于劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；

候選分詞結果確定模塊，用于循環遍歷各所述候選切片集合，得到候選分詞結果；

目標分詞結果確定模塊，用于確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。

7.根據權利要求6所述的裝置，其特征在于，所述候選分詞結果確定模塊，包括：

優先級序列確定單元，用于確定各所述候選切片集合中候選切片的優先級順序，形成對應的優先級序列；

候選分詞結果確定單元，用于遍歷所述優先級序列，得到候選分詞結果。

8.根據權利要求7所述的裝置，其特征在于，所述優先級序列確定單元，具體用于：

確定各所述候選切片集合中候選切片的長度；

將所述長度與設定值作差再取絕對值，按照由小到大的順序排列形成對應的優先級序列；

其中，當絕對值相等時，長度大的候選切片位于長度小的候選切片之前，長度為1的候選切片位于對應優先級序列的最后。

9.一種計算機設備，其特征在于，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述處理器執行時，使得所述處理器實現如權利要求1-5任一項所述的分詞方法。

10.一種計算機存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-5任一項所述的分詞方法。