[發明專利]一種文本處理方法、裝置、存儲介質和電子設備

在審

• 申請號: 202110129577.2
• 申請日: 2021-01-29
• 公開（公告）號: CN112836624A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 仲偉慧;李理;包英澤
• 申請（專利權）人: 北京大米科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/242;G06F40/289
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

本發明公開了一種文本處理方法、裝置、存儲介質和電子設備。本發明實施例的技術方案通過獲取待處理字符串，根據預設的詞典對所述待處理字符串拆分以獲得與待處理字符串對應的多個單詞字符串，所述單詞字符串能夠表征已拆分的單詞，由此，可以解決在進行文本拆分過程中單詞粘連的問題。

技術領域

本發明涉及自然語言處理領域，具體涉及一種文本處理方法、裝置、存儲介質和電子設備。

背景技術

隨著遠程教育的普及，學生通過終端將作業拍照上傳至教學端等待批改。對低齡段的學生而言，他們上傳的作業往往存在書寫不規范的問題。以英語書寫為例，學生書寫時往往忽略單詞之間的空格，或空格的間隔不均勻。具體而言，學生將手寫的英文材料拍照后以圖片形式上傳至教學端，現有技術的教學端通常采用OCR(Optical CharacterRecognition，光學字符識別)識別模型對其進行識別。但是，現有的OCR識別模型對單詞的劃分往往不夠準確，容易造成多個單詞粘連在一起。不利于教學端對學生提交的手寫作業進行批改。

發明內容

有鑒于此,為了解決在進行文本拆分過程中單詞粘連的問題，本發明實施例的目的是提供一種文本處理方法、裝置、存儲介質和電子設備。

第一方面，本發明實施例提供一種文本處理方法，包括：

獲取待處理字符串；

以迭代的方式逐步增加候選字符串的長度，根據預設的第一詞典確定各候選字符串的第一最優劃分代價直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價用于表征將候選字符串劃分為兩段后，前一段為串聯的至少一個單詞且后一段為所述第一詞典中的單獨的單詞的可能性，所述第一最優劃分代價為可能性最大的劃分位置對應的劃分代價；

根據各候選字符串的第一最優劃分代價回溯將所述待處理字符串劃分為多個第一單詞字符串。

優選地，所述方法還包括：

以迭代的方式逐步增加候選字符串的長度，根據預設的第二詞典確定各候選字符串的第二最優劃分代價直至候選字符串與所述待處理字符串相同，其中，所述候選字符串為從所述待處理字符串的首字符為起始的子字符串，所述劃分代價用于表征將候選字符串劃分為兩段后，前一段為串聯的至少一個單詞且后一段為所述第二詞典中的單獨的單詞的可能性，所述第二最優劃分代價為可能性最大的劃分位置對應的劃分代價；

根據各候選字符串的第二最優劃分代價回溯以將所述待處理字符串劃分為多個第二單詞字符串；

其中，所述第一詞典和所述第二詞典為不同語種的詞典。

根據所述待處理字符串的第一最優劃分代價和第二最優劃分代價確定輸出所述多個第一單詞字符串或所述多個第二單詞字符串作為劃分結果。

優選地，所述以迭代的方式逐步增加候選字符串的長度，根據預設的第一詞典確定各候選字符串的第一最優劃分代價直至候選字符串與所述待處理字符串相同包括：

確定當前迭代周期的候選字符串；

對于所述當前迭代周期的候選字符串，從字符串起始位置至結束位置遍歷各劃分位置，確定各劃分位置的劃分代價；

選取最優的劃分代價作為當前迭代周期的候選字符串的第一最優劃分代價；

其中，確定各劃分位置的劃分代價包括：

對于每個劃分位置，根據預設的第一詞典確定在所述劃分位置進行劃分后，前一段的最優劃分代價和后一段的字符串代價；

根據所述前一段的第一最優劃分代價和后一段的字符串代價之和確定當前劃分位置對應的劃分代價。

優選地，根據各候選字符串的第一最優劃分代價回溯將所述待處理字符串劃分為多個單詞字符串包括：