[發(fā)明專利]分詞方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010722115.7
• 申請(qǐng)日: 2020-07-24
• 公開（公告）號(hào): CN113971397A
• 公開（公告）日: 2022-01-25
• 發(fā)明（設(shè)計(jì)）人: 孫莉
• 申請(qǐng)（專利權(quán)）人: 中移(蘇州)軟件技術(shù)有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216;G06F40/289;G06F40/30
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 劉鶴;張穎玲

1.一種分詞方法，其特征在于，包括：

根據(jù)待處理文本的第一組候選詞中的候選詞的第一參數(shù)，按照從后往前的方向從所述第一組候選詞中選出第一目標(biāo)候選詞，得到所述待處理文本的第一分詞結(jié)果，其中，所述第一組候選詞是按照從前往后的方向?qū)λ龃幚砦谋具M(jìn)行分詞得到的一組候選詞，所述第一參數(shù)為一個(gè)候選詞的左鄰詞中所有候選詞組合的累加詞頻概率；所述第一目標(biāo)候選詞為一個(gè)候選詞的最大第一參數(shù)對(duì)應(yīng)的左鄰詞；

根據(jù)所述待處理文本的第二組候選詞中的候選詞的第二參數(shù)，按照從前往后的方向從所述第二組候選詞中選出第二目標(biāo)候選詞，得到所述待處理文本的第二分詞結(jié)果，其中，所述第二組候選詞是按照從后往前的方向?qū)λ龃幚砦谋具M(jìn)行分詞得到的一組候選詞，所述第二參數(shù)為一個(gè)候選詞的右鄰詞中所有候選詞組合的累加詞性概率；所述第二目標(biāo)候選詞為一個(gè)候選詞的最大第二參數(shù)對(duì)應(yīng)的右鄰詞；

確定所述第一分詞結(jié)果和所述第二分詞結(jié)果中的至少一對(duì)分歧詞，其中，一對(duì)分歧詞包含所述第一分詞結(jié)果中的一個(gè)分詞和所述第二分詞結(jié)果中的一個(gè)分詞，一對(duì)分歧詞對(duì)應(yīng)所述第一分詞結(jié)果與所述第二分詞結(jié)果之間的一處分詞差異；

根據(jù)設(shè)定算法，從所述一對(duì)分歧詞中確定一個(gè)分詞作為所述一對(duì)分歧詞的分詞結(jié)果，以得到所述待處理文本的第三分詞結(jié)果。

2.根據(jù)權(quán)利要求1所述的分詞方法，其特征在于，所述根據(jù)待處理文本的第一組候選詞中的候選詞的第一參數(shù)，按照從后往前的方向從所述第一組候選詞中選出第一目標(biāo)候選詞，得到所述待處理文本的第一分詞結(jié)果，包括：

對(duì)于所述第一組候選詞中每個(gè)候選詞，確定每個(gè)候選詞在設(shè)定的詞頻字典中對(duì)應(yīng)的詞頻概率，并根據(jù)每個(gè)候選詞在設(shè)定的詞頻字典中對(duì)應(yīng)的詞頻概率，確定每個(gè)候選詞對(duì)應(yīng)的第一參數(shù)；

基于每個(gè)候選詞的最大第一參數(shù)，按照從后往前的方向從所述第一組候選詞中選出第一目標(biāo)候選詞，得到所述待處理文本的第一分詞結(jié)果。

3.根據(jù)權(quán)利要求1所述的分詞方法，其特征在于，所述根據(jù)設(shè)定算法，從所述一對(duì)分歧詞中確定一個(gè)分詞作為所述一對(duì)分歧詞的最終分詞結(jié)果，以得到所述待處理文本的第三分詞結(jié)果，包括：

確定所述第一分詞結(jié)果的第一分詞數(shù)量與所述第二分詞結(jié)果的第二分詞數(shù)量；

檢測(cè)所述第一分詞數(shù)量與所述第二分詞數(shù)量是否相同，得到檢測(cè)結(jié)果；

采用與所述檢測(cè)結(jié)果對(duì)應(yīng)的設(shè)定算法，從所述一對(duì)分歧詞中選出一個(gè)分詞作為所述一對(duì)分歧詞的最終分詞結(jié)果，以得到所述待處理文本的第三分詞結(jié)果。

4.根據(jù)權(quán)利要求3所述的分詞方法，所述采用與所述檢測(cè)結(jié)果對(duì)應(yīng)的設(shè)定算法，從所述一對(duì)分歧詞中確定一個(gè)分詞作為所述一對(duì)分歧詞的最終分詞結(jié)果，以得到所述待處理文本的第三分詞結(jié)果，包括：

在所述檢測(cè)結(jié)果表征所述第一分詞數(shù)量與所述第二分詞數(shù)量相同的情況下，根據(jù)設(shè)定詞典確定第一概率與第二概率；所述設(shè)定詞典存儲(chǔ)了分詞之間連接的概率；所述第一概率為所述第一分詞結(jié)果中所述至少一個(gè)分歧詞中每個(gè)分歧詞與鄰詞之間連接的概率；所述第二概率為所述第二分詞結(jié)果中至少一個(gè)分歧詞中每個(gè)分歧詞與鄰詞之間連接的概率；

根據(jù)所述第一概率與所述第二概率的比較結(jié)果，從所述至少一對(duì)分歧詞中的每對(duì)分歧詞中選出一個(gè)分詞作為對(duì)應(yīng)的分詞結(jié)果；

根據(jù)所述待處理文本中至少一對(duì)分歧詞中每對(duì)分歧詞對(duì)應(yīng)的分詞結(jié)果，確定所述待處理文本的第三分詞結(jié)果。

5.根據(jù)權(quán)利要求4所述的分詞方法，其特征在于，所述根據(jù)所述設(shè)定詞典確定第一概率與第二概率，包括：

根據(jù)所述至少一對(duì)分歧詞中每對(duì)分歧詞的左鄰詞，對(duì)所述設(shè)定詞典進(jìn)行刪減處理；刪減處理后的設(shè)定詞典中的詞語與所述至少一對(duì)分歧詞中每個(gè)分歧詞的左鄰詞的段首詞語相同；

根據(jù)所述刪減處理后的設(shè)定詞典，確定第一概率與第二概率。

6.根據(jù)權(quán)利要求2所述的分詞方法，其特征在于，所述對(duì)于所述第一組候選詞中每個(gè)候選詞，確定每個(gè)候選詞在設(shè)定的詞頻字典中對(duì)應(yīng)的詞頻概率，所述方法還包括：

在所述第一組候選詞中的候選詞在所述詞頻詞典中不存在對(duì)應(yīng)詞頻概率的情況下，將不存在對(duì)應(yīng)詞頻概率的候選詞的詞頻設(shè)置為設(shè)定值；所述設(shè)定值為大于0的數(shù)值。