[發(fā)明專利]文本的糾錯(cuò)方法、裝置和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811426082.0
• 申請(qǐng)日: 2018-11-27
• 公開(kāi)（公告）號(hào): CN111310440B
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 包祖貽;李辰;徐光偉;劉恒友;李林琳;司羅
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F40/232
• 分類號(hào): G06F40/232
• 代理公司: 北京博浩百睿知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 褚敏;宋子良

1.一種文本的糾錯(cuò)方法，包括：

獲取目標(biāo)文本對(duì)應(yīng)的候選詞，其中，通過(guò)對(duì)所述目標(biāo)文本中包含的詞語(yǔ)進(jìn)行變形得到所述候選詞，所述目標(biāo)文本包括聲調(diào)語(yǔ)言文本；

采用多種評(píng)估方式對(duì)每個(gè)候選詞進(jìn)行評(píng)估，得到所述每個(gè)候選詞在所述多種評(píng)估方式下的評(píng)估值，其中，所述評(píng)估方式包括對(duì)所述候選詞進(jìn)行聲調(diào)變化打分；

根據(jù)所述每個(gè)候選詞對(duì)應(yīng)的評(píng)估值獲取用于進(jìn)行糾錯(cuò)的至少一個(gè)候選詞；

基于所述用于進(jìn)行糾錯(cuò)的至少一個(gè)候選詞對(duì)所述目標(biāo)文本進(jìn)行糾錯(cuò)；

其中，獲取目標(biāo)文本對(duì)應(yīng)的候選詞，包括：獲取預(yù)設(shè)的標(biāo)準(zhǔn)詞表中，標(biāo)準(zhǔn)詞語(yǔ)的標(biāo)準(zhǔn)形式和所述標(biāo)準(zhǔn)詞語(yǔ)對(duì)應(yīng)的無(wú)聲調(diào)形式之間的第三對(duì)應(yīng)關(guān)系，其中，通過(guò)去除所述標(biāo)準(zhǔn)形式的聲調(diào)標(biāo)識(shí)，得到所述標(biāo)準(zhǔn)詞語(yǔ)的無(wú)聲調(diào)形式；在所述第三對(duì)應(yīng)關(guān)系中查找所述目標(biāo)文本中包含的詞語(yǔ)，得到第三查找結(jié)果；確定與所述第三查找結(jié)果具有所述第三對(duì)應(yīng)關(guān)系的詞語(yǔ)為所述目標(biāo)文本中包含的詞語(yǔ)的候選詞。

2.根據(jù)權(quán)利要求1所述的方法，其中，在獲取目標(biāo)文本對(duì)應(yīng)的候選詞之前，所述方法還包括：獲取目標(biāo)文本對(duì)應(yīng)的詞序列，所述詞序列用于表示所述目標(biāo)文本中的詞語(yǔ)，獲取目標(biāo)文本對(duì)應(yīng)的詞序列的步驟包括：

對(duì)所述目標(biāo)文本進(jìn)行歸一化處理；

對(duì)歸一化處理得到的結(jié)果進(jìn)行分詞處理，得到所述目標(biāo)文本對(duì)應(yīng)的詞序列。

3.根據(jù)權(quán)利要求1所述的方法，其中，獲取目標(biāo)文本對(duì)應(yīng)的候選詞，包括：

獲取預(yù)設(shè)的詞語(yǔ)召回詞典，其中，所述詞語(yǔ)召回詞典包括預(yù)設(shè)詞語(yǔ)的標(biāo)準(zhǔn)形式、所述預(yù)設(shè)詞語(yǔ)的縮寫(xiě)和所述預(yù)設(shè)詞語(yǔ)的錯(cuò)誤形式之間的第一對(duì)應(yīng)關(guān)系；

在所述詞語(yǔ)召回詞典中查找所述目標(biāo)文本中包含的詞語(yǔ)，得到第一查找結(jié)果；

確定與所述第一查找結(jié)果具有第一對(duì)應(yīng)關(guān)系的詞語(yǔ)為所述目標(biāo)文本中包含的詞語(yǔ)的候選詞。

4.根據(jù)權(quán)利要求1所述的方法，其中，獲取目標(biāo)文本對(duì)應(yīng)的候選詞，包括：

獲取預(yù)設(shè)的標(biāo)準(zhǔn)詞表中，標(biāo)準(zhǔn)詞語(yǔ)的標(biāo)準(zhǔn)形式和所述標(biāo)準(zhǔn)詞語(yǔ)的錯(cuò)誤形式之間的第二對(duì)應(yīng)關(guān)系，其中，通過(guò)對(duì)預(yù)設(shè)的標(biāo)準(zhǔn)詞表中的標(biāo)準(zhǔn)詞語(yǔ)進(jìn)行變換，得到所述標(biāo)準(zhǔn)詞語(yǔ)對(duì)應(yīng)的錯(cuò)誤形式，所述變換包括如下一種或多種：對(duì)所述標(biāo)準(zhǔn)形式的任意部分進(jìn)行刪除、增加和替換；

在所述第二對(duì)應(yīng)關(guān)系中查找所述目標(biāo)文本中包含的詞語(yǔ)，得到第二查找結(jié)果；

確定與所述第二查找結(jié)果具有所述第二對(duì)應(yīng)關(guān)系的詞語(yǔ)為所述目標(biāo)文本中包含的詞語(yǔ)的候選詞。

5.根據(jù)權(quán)利要求1所述的方法，其中，在所述評(píng)估方式為第一評(píng)估方式的情況下，采用多種評(píng)估方式對(duì)每個(gè)候選詞進(jìn)行評(píng)估，得到所述每個(gè)候選詞在所述多種評(píng)估方式下的評(píng)估值，包括：

獲取所述詞語(yǔ)與對(duì)應(yīng)的候選詞之間的編輯距離，其中，所述編輯距離用于表示由所述詞語(yǔ)的字符串轉(zhuǎn)換成所述詞語(yǔ)對(duì)應(yīng)的候選詞的字符串之間的最少編輯次數(shù)；

根據(jù)所述詞語(yǔ)與對(duì)應(yīng)的候選詞之間的編輯距離確定所述候選詞的評(píng)估值。

6.根據(jù)權(quán)利要求1所述的方法，其中，在所述評(píng)估方式為第二評(píng)估方式的情況下，采用多種評(píng)估方式對(duì)每個(gè)候選詞進(jìn)行評(píng)估，得到所述每個(gè)候選詞在所述多種評(píng)估方式下的評(píng)估值，包括：

獲取所述詞語(yǔ)的詞長(zhǎng)與所述詞語(yǔ)對(duì)應(yīng)的候選詞的詞長(zhǎng)之間的差值；

根據(jù)所述差值確定所述候選詞的評(píng)估值。

7.根據(jù)權(quán)利要求1所述的方法，其中，在所述評(píng)估方式為第三評(píng)估方式的情況下，采用多種評(píng)估方式對(duì)每個(gè)候選詞進(jìn)行評(píng)估，得到所述每個(gè)候選詞在所述多種評(píng)估方式下的評(píng)估值，包括：

獲取候選詞在不同聲調(diào)形式下出現(xiàn)的概率；

根據(jù)所述概率確定所述候選詞的評(píng)估值。

8.根據(jù)權(quán)利要求1所述的方法，其中，在所述評(píng)估方式為第四評(píng)估方式的情況下，采用多種評(píng)估方式對(duì)每個(gè)候選詞進(jìn)行評(píng)估，得到所述每個(gè)候選詞在所述多種評(píng)估方式下的評(píng)估值，包括：

通過(guò)預(yù)先獲取的語(yǔ)言模型預(yù)測(cè)所述詞語(yǔ)在所述目標(biāo)文本中出現(xiàn)的概率；

根據(jù)所述概率確定所述候選詞的評(píng)估值。