[發(fā)明專利]一種文本處理方法、裝置、存儲介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110129577.2
• 申請日: 2021-01-29
• 公開（公告）號: CN112836624A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 仲偉慧;李理;包英澤
• 申請（專利權(quán)）人: 北京大米科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/242;G06F40/289
• 代理公司: 北京睿派知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11597
• 代理人: 劉鋒

本發(fā)明公開了一種文本處理方法、裝置、存儲介質(zhì)和電子設(shè)備。本發(fā)明實施例的技術(shù)方案通過獲取待處理字符串，根據(jù)預(yù)設(shè)的詞典對所述待處理字符串拆分以獲得與待處理字符串對應(yīng)的多個單詞字符串，所述單詞字符串能夠表征已拆分的單詞，由此，可以解決在進(jìn)行文本拆分過程中單詞粘連的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理領(lǐng)域，具體涉及一種文本處理方法、裝置、存儲介質(zhì)和電子設(shè)備。

背景技術(shù)

隨著遠(yuǎn)程教育的普及，學(xué)生通過終端將作業(yè)拍照上傳至教學(xué)端等待批改。對低齡段的學(xué)生而言，他們上傳的作業(yè)往往存在書寫不規(guī)范的問題。以英語書寫為例，學(xué)生書寫時往往忽略單詞之間的空格，或空格的間隔不均勻。具體而言，學(xué)生將手寫的英文材料拍照后以圖片形式上傳至教學(xué)端，現(xiàn)有技術(shù)的教學(xué)端通常采用OCR(Optical CharacterRecognition，光學(xué)字符識別)識別模型對其進(jìn)行識別。但是，現(xiàn)有的OCR識別模型對單詞的劃分往往不夠準(zhǔn)確，容易造成多個單詞粘連在一起。不利于教學(xué)端對學(xué)生提交的手寫作業(yè)進(jìn)行批改。

發(fā)明內(nèi)容

有鑒于此,為了解決在進(jìn)行文本拆分過程中單詞粘連的問題，本發(fā)明實施例的目的是提供一種文本處理方法、裝置、存儲介質(zhì)和電子設(shè)備。

第一方面，本發(fā)明實施例提供一種文本處理方法，包括：

獲取待處理字符串；

以迭代的方式逐步增加候選字符串的長度，根據(jù)預(yù)設(shè)的第一詞典確定各候選字符串的第一最優(yōu)劃分代價直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價用于表征將候選字符串劃分為兩段后，前一段為串聯(lián)的至少一個單詞且后一段為所述第一詞典中的單獨的單詞的可能性，所述第一最優(yōu)劃分代價為可能性最大的劃分位置對應(yīng)的劃分代價；

根據(jù)各候選字符串的第一最優(yōu)劃分代價回溯將所述待處理字符串劃分為多個第一單詞字符串。

優(yōu)選地，所述方法還包括：

以迭代的方式逐步增加候選字符串的長度，根據(jù)預(yù)設(shè)的第二詞典確定各候選字符串的第二最優(yōu)劃分代價直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價用于表征將候選字符串劃分為兩段后，前一段為串聯(lián)的至少一個單詞且后一段為所述第二詞典中的單獨的單詞的可能性，所述第二最優(yōu)劃分代價為可能性最大的劃分位置對應(yīng)的劃分代價；

根據(jù)各候選字符串的第二最優(yōu)劃分代價回溯以將所述待處理字符串劃分為多個第二單詞字符串；

其中，所述第一詞典和所述第二詞典為不同語種的詞典。

根據(jù)所述待處理字符串的第一最優(yōu)劃分代價和第二最優(yōu)劃分代價確定輸出所述多個第一單詞字符串或所述多個第二單詞字符串作為劃分結(jié)果。

優(yōu)選地，所述以迭代的方式逐步增加候選字符串的長度，根據(jù)預(yù)設(shè)的第一詞典確定各候選字符串的第一最優(yōu)劃分代價直至候選字符串與所述待處理字符串相同包括：

確定當(dāng)前迭代周期的候選字符串；

對于所述當(dāng)前迭代周期的候選字符串，從字符串起始位置至結(jié)束位置遍歷各劃分位置，確定各劃分位置的劃分代價；

選取最優(yōu)的劃分代價作為當(dāng)前迭代周期的候選字符串的第一最優(yōu)劃分代價；

其中，確定各劃分位置的劃分代價包括：

對于每個劃分位置，根據(jù)預(yù)設(shè)的第一詞典確定在所述劃分位置進(jìn)行劃分后，前一段的最優(yōu)劃分代價和后一段的字符串代價；

根據(jù)所述前一段的第一最優(yōu)劃分代價和后一段的字符串代價之和確定當(dāng)前劃分位置對應(yīng)的劃分代價。

優(yōu)選地，根據(jù)各候選字符串的第一最優(yōu)劃分代價回溯將所述待處理字符串劃分為多個單詞字符串包括：