[發明專利]分詞方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010722115.7
• 申請日: 2020-07-24
• 公開（公告）號: CN113971397A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 孫莉
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289;G06F40/30
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉鶴;張穎玲

本發明公開了一種分詞方法、裝置、電子設備及存儲介質。其中，方法包括：根據對待處理文本進行前向分詞得到的第一組候選詞中的候選詞的第一參數，按照從后往前的方向從所述第一組候選詞中選出第一目標候選詞，得到所述待處理文本的第一分詞結果；根據對所述待處理文本進行后向分詞得到的第二組候選詞中的候選詞的第二參數，按照從前往后的方向從所述第二組候選詞中選出第二目標候選詞，得到所述待處理文本的第二分詞結果；確定所述第一分詞結果和所述第二分詞結果中的至少一對分歧詞；根據設定算法，從所述一對分歧詞中確定一個分詞作為所述一對分歧詞的分詞結果，以得到所述待處理文本的第三分詞結果。

技術領域

本發明涉及數據處理領域，尤其涉及一種分詞方法、裝置、電子設備及存儲介質。

背景技術

目前，使用字符串匹配算法進行分詞時，是根據預先配置的詞典及特征進行分詞的，在對復雜句子進行分詞的時候，處理效果不佳，導致復雜句子的分詞準確性降低。

發明內容

有鑒于此，本發明實施例提供一種分詞方法、裝置、電子設備及存儲介質，以至少解決相關技術對復雜句子的分詞準確性降低的問題。

本發明實施例的技術方案是這樣實現的：

本發明實施例提供了一種分詞方法，所述方法包括：

根據待處理文本的第一組候選詞中的候選詞的第一參數，按照從后往前的方向從所述第一組候選詞中選出第一目標候選詞，得到所述待處理文本的第一分詞結果，其中，所述第一組候選詞是按照從前往后的方向對所述待處理文本進行分詞得到的一組候選詞，所述第一參數為一個候選詞的左鄰詞中所有候選詞組合的累加詞頻概率；所述第一目標候選詞為一個候選詞的最大第一參數對應的左鄰詞；

根據所述待處理文本的第二組候選詞中的候選詞的第二參數，按照從前往后的方向從所述第二組候選詞中選出第二目標候選詞，得到所述待處理文本的第二分詞結果，其中，所述第二組候選詞是按照從后往前的方向對所述待處理文本進行分詞得到的一組候選詞，所述第二參數為一個候選詞的右鄰詞中所有候選詞組合的累加詞性概率；所述第二目標候選詞為一個候選詞的最大第二參數對應的右鄰詞；

確定所述第一分詞結果和所述第二分詞結果中的至少一對分歧詞，其中，一對分歧詞包含所述第一分詞結果中的一個分詞和所述第二分詞結果中的一個分詞，一對分歧詞對應所述第一分詞結果與所述第二分詞結果之間的一處分詞差異；

根據設定算法，從所述一對分歧詞中確定一個分詞作為所述一對分歧詞的最終分詞結果，以得到所述待處理文本的第三分詞結果。

上述方案中，所述根據待處理文本的第一組候選詞中的候選詞的第一參數，按照從后往前的方向從所述第一組候選詞中選出第一目標候選詞，得到所述待處理文本的第一分詞結果，包括：

對于所述第一組候選詞中每個候選詞，確定每個候選詞在設定的詞頻字典中對應的詞頻概率，并根據每個候選詞在設定的詞頻字典中對應的詞頻概率，確定每個候選詞對應的第一參數；

基于每個候選詞的最大第一參數，按照從后往前的方向從所述第一組候選詞中選出第一目標候選詞，得到所述待處理文本的第一分詞結果。

上述方案中，所述根據設定算法，從所述一對分歧詞中確定一個分詞作為所述一對分歧詞的最終分詞結果，以得到所述待處理文本的第三分詞結果，包括：

確定所述第一分詞結果的第一分詞數量與所述第二分詞結果的第二分詞數量；

檢測所述第一分詞數量與所述第二分詞數量是否相同，得到檢測結果；

采用與所述檢測結果對應的設定算法，從所述一對分歧詞中選出一個分詞作為所述一對分歧詞的最終分詞結果，以得到所述待處理文本的第三分詞結果。