[發(fā)明專(zhuān)利]一種文本處理方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110129577.2
• 申請(qǐng)日: 2021-01-29
• 公開(kāi)（公告）號(hào): CN112836624A
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 仲偉慧;李理;包英澤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京大米科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06F40/242;G06F40/289
• 代理公司: 北京睿派知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11597
• 代理人: 劉鋒

1.一種文本處理方法，其特征在于，所述方法包括：

獲取待處理字符串；

以迭代的方式逐步增加候選字符串的長(zhǎng)度，根據(jù)預(yù)設(shè)的第一詞典確定各候選字符串的第一最優(yōu)劃分代價(jià)直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價(jià)用于表征將候選字符串劃分為兩段后，前一段為串聯(lián)的至少一個(gè)單詞且后一段為所述第一詞典中的單獨(dú)的單詞的可能性，所述第一最優(yōu)劃分代價(jià)為可能性最大的劃分位置對(duì)應(yīng)的劃分代價(jià)；

根據(jù)各候選字符串的第一最優(yōu)劃分代價(jià)回溯將所述待處理字符串劃分為多個(gè)第一單詞字符串。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

以迭代的方式逐步增加候選字符串的長(zhǎng)度，根據(jù)預(yù)設(shè)的第二詞典確定各候選字符串的第二最優(yōu)劃分代價(jià)直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價(jià)用于表征將候選字符串劃分為兩段后，前一段為串聯(lián)的至少一個(gè)單詞且后一段為所述第二詞典中的單獨(dú)的單詞的可能性，所述第二最優(yōu)劃分代價(jià)為可能性最大的劃分位置對(duì)應(yīng)的劃分代價(jià)；

根據(jù)各候選字符串的第二最優(yōu)劃分代價(jià)回溯以將所述待處理字符串劃分為多個(gè)第二單詞字符串；

其中，所述第一詞典和所述第二詞典為不同語(yǔ)種的詞典；

根據(jù)所述待處理字符串的第一最優(yōu)劃分代價(jià)和第二最優(yōu)劃分代價(jià)確定輸出所述多個(gè)第一單詞字符串或所述多個(gè)第二單詞字符串作為劃分結(jié)果。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述以迭代的方式逐步增加候選字符串的長(zhǎng)度，根據(jù)預(yù)設(shè)的第一詞典確定各候選字符串的第一最優(yōu)劃分代價(jià)直至候選字符串與所述待處理字符串相同包括：

確定當(dāng)前迭代周期的候選字符串；

對(duì)于所述當(dāng)前迭代周期的候選字符串，從字符串起始位置至結(jié)束位置遍歷各劃分位置，確定各劃分位置的劃分代價(jià)；

選取最優(yōu)的劃分代價(jià)作為當(dāng)前迭代周期的候選字符串的第一最優(yōu)劃分代價(jià)；

其中，確定各劃分位置的劃分代價(jià)包括：

對(duì)于每個(gè)劃分位置，根據(jù)預(yù)設(shè)的第一詞典確定在所述劃分位置進(jìn)行劃分后，前一段的第一最優(yōu)劃分代價(jià)和后一段的字符串代價(jià)；

根據(jù)所述前一段的第一最優(yōu)劃分代價(jià)和后一段的字符串代價(jià)之和確定當(dāng)前劃分位置對(duì)應(yīng)的劃分代價(jià)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)各候選字符串的第一最優(yōu)劃分代價(jià)回溯將所述待處理字符串劃分為多個(gè)單詞字符串包括：

以待處理字符串為第一周期的候選字符串，以迭代方式，根據(jù)對(duì)應(yīng)的第一最優(yōu)劃分代價(jià)逐步拆分候選字符串直至按照第一最優(yōu)劃分代價(jià)無(wú)法進(jìn)一步拆分候選字符串。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，以迭代方式，根據(jù)對(duì)應(yīng)的第一最優(yōu)劃分代價(jià)逐步拆分候選字符串直至按照第一最優(yōu)劃分代價(jià)無(wú)法進(jìn)一步拆分候選字符串包括：

確定當(dāng)前周期的候選字符串；

根據(jù)當(dāng)前周期的候選字符串的第一最優(yōu)劃分代價(jià)對(duì)應(yīng)的劃分位置將所述候選字符串拆分為前一段和后一段；

將所述后一段確定為單詞字符串；

響應(yīng)于前一段長(zhǎng)度不為零，將所述前一段作為下一周期的候選字符串；

響應(yīng)于前一段長(zhǎng)度為零，結(jié)束拆分。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述劃分代價(jià)為前一段作為候選字符串的第一最優(yōu)代價(jià)與后一段作為字符串代價(jià)的和；

其中，所述前一段的第一最優(yōu)代價(jià)為前一段作為候選字符串時(shí)取得的各劃分代價(jià)的最小值。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述字符串代價(jià)的計(jì)算方法為：

條件1為所述單詞字符串在預(yù)設(shè)的詞典中；以及

條件2為所述單詞字符串不在預(yù)設(shè)的詞典中；

其中，所述預(yù)設(shè)的詞典為開(kāi)放語(yǔ)料對(duì)應(yīng)的詞典，thres的取值為所述預(yù)設(shè)的詞典中全部單詞的字符長(zhǎng)度的平均值；

len(word)為單詞字符串的字符個(gè)數(shù)。