[發(fā)明專利]文本切詞方法、裝置、設(shè)備和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010037943.7
• 申請(qǐng)日: 2020-01-14
• 公開（公告）號(hào): CN111274353B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 馬東民;徐犇;李秀健
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司;上海小度技術(shù)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/289
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種文本切詞方法，其特征在于，包括：

將待切分文本劃分為至少兩層字符片段組合；其中，任一層字符片段為上一層字符片段的子字符片段，和/或?yàn)橄乱粚幼址蔚母缸址危?/p>

基于所述至少兩層字符片段組合，根據(jù)目標(biāo)詞粒度，對(duì)所述待切分文本進(jìn)行切分；

其中，所述將待切分文本劃分為至少兩層字符片段組合，包括：

從上一層字符片段中提取至少一種長(zhǎng)度的候選字符片段；其中，所述上一層字符片段屬于上一層字符片段組合；

組合提取的候選字符片段，得到候選字符片段組合；

根據(jù)所述候選字符片段間的重疊關(guān)系，以及所述候選字符片段的歷史使用信息，從所述候選字符片段組合中確定本層字符片段組合，其中所述本層字符片段組合包括至少一個(gè)本層字符片段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述候選字符片段間的重疊關(guān)系，以及所述候選字符片段的歷史使用信息，從所述候選字符片段組合中確定本層字符片段組合，包括：

從所述候選字符片段組合中過濾存在重疊的候選字符片段組合，得到目標(biāo)字符片段組合；

根據(jù)所述目標(biāo)字符片段組合中包括所述候選字符片段的數(shù)量和所述候選字符片段的歷史使用信息，從所述目標(biāo)字符片段組合中確定所述本層字符片段組合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標(biāo)字符片段組合中包括所述候選字符片段的數(shù)量和所述候選字符片段的歷史使用信息，從所述目標(biāo)字符片段組合中確定所述本層字符片段組合，包括：

根據(jù)所述候選字符片段的歷史相鄰字符信息，計(jì)算所述候選字符片段的信息熵；

根據(jù)計(jì)算的信息熵確定所述目標(biāo)字符片段組合的權(quán)重；

根據(jù)所述目標(biāo)字符片段組合中包括所述候選字符片段的數(shù)量和所述目標(biāo)字符片段組合的權(quán)重，從所述目標(biāo)字符片段組合中確定所述本層字符片段組合。

4.一種文本切詞方法，其特征在于，包括：

將待切分文本劃分為至少兩層字符片段組合；其中，任一層字符片段為上一層字符片段的子字符片段，和/或?yàn)橄乱粚幼址蔚母缸址危?/p>

基于所述至少兩層字符片段組合，根據(jù)目標(biāo)詞粒度，對(duì)所述待切分文本進(jìn)行切分；

其中，所述基于所述至少兩層字符片段組合，根據(jù)目標(biāo)詞粒度，對(duì)所述待切分文本進(jìn)行切分，包括：

根據(jù)字符片段組合中字符片段的歷史使用信息和不同字符片段組合中字符片段間的父子關(guān)系，從所述字符片段組合的字符片段中確定目標(biāo)切分片段；

組合所述目標(biāo)切分片段，基于所述目標(biāo)切分片段的組合，根據(jù)目標(biāo)詞粒度，對(duì)所述待切分文本進(jìn)行切分。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)字符片段組合中字符片段的歷史使用信息和不同字符片段組合中字符片段間的父子關(guān)系，從所述字符片段組合的字符片段中確定目標(biāo)切分片段，包括：

根據(jù)所述字符片段組合中父字符片段的歷史使用信息，確定所述父字符片段的權(quán)重；

根據(jù)所述父字符片段關(guān)聯(lián)的子字符片段的歷史使用信息，確定所述子字符片段的綜合權(quán)重；

比較所述父字符片段的權(quán)重和所述子字符片段的綜合權(quán)重；若所述父字符片段的權(quán)重大于所述子字符片段的綜合權(quán)重，則終止對(duì)所述父字符片段所屬分支的遍歷，并將所述父字符片段關(guān)聯(lián)的子字符片段作為目標(biāo)切分片段。

6.一種文本切詞方法，其特征在于，包括：

將待切分文本劃分為至少兩層字符片段組合；其中，任一層字符片段為上一層字符片段的子字符片段，和/或?yàn)橄乱粚幼址蔚母缸址危?/p>

基于所述至少兩層字符片段組合，根據(jù)目標(biāo)詞粒度，對(duì)所述待切分文本進(jìn)行切分；

比較切分得到的目標(biāo)切分詞語(yǔ)與現(xiàn)有切分詞語(yǔ)，所述現(xiàn)有切分詞語(yǔ)基于現(xiàn)有切詞邏輯切分所述待切分文本得到；

根據(jù)比較結(jié)果，從所述目標(biāo)切分詞語(yǔ)中確定待挖掘詞語(yǔ)。