[發明專利]一種分詞方法、裝置、設備及計算機存儲介質

在審

• 申請號: 202010887529.5
• 申請日: 2020-08-28
• 公開（公告）號: CN112069812A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 王哲;覃志奎;張炫;李波;曾少斌;胡俊;顏杰;劉鴻;未波波;楊鵬偉;鐘劍哲;喬柯巖;馮子劍;郭琳琳;趙向洋;李朋;張紅玉;蘇盈盈
• 申請（專利權）人: 喜大（上海）網絡科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種分詞方法、裝置、設備及計算機存儲介質。該方法包括：劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；循環遍歷各所述候選切片集合，得到候選分詞結果；確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。上述方案選取分詞結果中長度乘積值最大的作為中文文本的目標分詞結果，實現了分詞結果的全局最優，提高了分詞結果的準確度。

技術領域

本發明實施例涉及信息檢索技術領域，尤其涉及一種分詞方法、裝置、設備及計算機存儲介質。

背景技術

中文是通過字組合為詞來表達意思，詞與詞之間沒有空格或其他分隔，理解一段中文文本需要將該文本的詞劃分出來，即將連續的漢字分割成具有意義的詞，這個過程叫做中文分詞。中文分詞是中文信息處理問題的基礎，是漢語文本自動標注、信息檢索、文本挖掘等工作中的關鍵步驟。

以信息檢索領域為例，目前常用的分詞方法主要是前向(后向)最大匹配法，這種分詞方法的使用成本低，但只能得到局部最優解。

發明內容

本發明實施例提供一種分詞方法、裝置、設備及計算機存儲介質，提高分詞結果的準確度。

第一方面，本發明實施例提供了一種分詞方法，包括：

劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；

循環遍歷各所述候選切片集合，得到候選分詞結果；

確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。

第二方面，本發明實施例還提供了一種分詞裝置，包括：

劃分模塊，用于劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；

候選分詞結果確定模塊，用于循環遍歷各所述候選切片集合，得到候選分詞結果；

目標分詞結果確定模塊，用于確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。

第三方面，本發明實施例還提供了一種計算機設備，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述處理器執行時，使得所述處理器實現如第一方面所述的分詞方法。

第四方面，本發明實施例還提供了一種計算機存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如第一方面所述的分詞方法。

本發明實施例提供了一種分詞方法、裝置、設備及計算機存儲介質，通過劃分獲取的中文文本，得到以每個字符為起點并且可以成詞的候選切片集合；循環遍歷各所述候選切片集合，得到候選分詞結果；確定所述候選分詞結果中各候選切片長度的乘積值，并將乘積值最大的候選分詞結果作為所述中文文本的目標分詞結果。上述方案選取分詞結果中長度乘積值最大的作為中文文本的目標分詞結果，實現了分詞結果的全局最優，提高了分詞結果的準確度。

附圖說明

圖1為本發明實施例一提供的一種分詞方法的流程圖；

圖2為本發明實施例二提供的一種分詞方法的流程圖；

圖3為本發明實施例三提供的一種分詞裝置的結構圖；

圖4為本發明實施例四提供的一種計算機設備的結構圖。

具體實施方式