[發(fā)明專利]文本糾錯(cuò)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811543962.6
• 申請(qǐng)日: 2018-12-17
• 公開（公告）號(hào): CN109543022B
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: 鄧卓彬;鄭利群;羅希意;付志宏;何徑舟
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06N3/02
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 王珺;武晨燕

本發(fā)明實(shí)施例提供一種文本糾錯(cuò)方法與裝置。其中，該方法包括：對(duì)查詢內(nèi)容中的待糾錯(cuò)文本進(jìn)行預(yù)處理，得到多個(gè)片段；利用樹模型對(duì)每一片段的候選片段進(jìn)行打分，得到第一打分結(jié)果；利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)每一片段的候選片段進(jìn)行打分，得到第二打分結(jié)果；將所述第一打分結(jié)果和所述第二打分結(jié)果融合，得到融合打分結(jié)果；利用融合打分結(jié)果對(duì)每一片段的候選片段進(jìn)行排序；利用排序結(jié)果對(duì)所述待糾錯(cuò)文本進(jìn)行糾錯(cuò)。本發(fā)明實(shí)施例保持樹模型的特征組合能力的同時(shí)，引入深度神經(jīng)網(wǎng)絡(luò)上下文建模，可以結(jié)合上下文糾錯(cuò)，提高糾錯(cuò)結(jié)果的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種文本糾錯(cuò)方法和裝置。

背景技術(shù)

對(duì)輸入的文本進(jìn)行糾錯(cuò)通常采用樹模型。通過(guò)對(duì)不同場(chǎng)景進(jìn)行數(shù)據(jù)的積累和統(tǒng)計(jì)，然后使用樹模型強(qiáng)大的特征組合能力得到一個(gè)基礎(chǔ)的糾錯(cuò)模型。

按場(chǎng)景進(jìn)行劃分，糾錯(cuò)需求的主要應(yīng)用范圍包括：大搜糾錯(cuò)、語(yǔ)音糾錯(cuò)、長(zhǎng)文本糾錯(cuò)。樹模型的優(yōu)點(diǎn)為可以處理統(tǒng)計(jì)特征，在基于統(tǒng)計(jì)的大搜糾錯(cuò)和語(yǔ)音糾錯(cuò)需求的垂直場(chǎng)景下非常有效。

然而，樹模型在長(zhǎng)文本糾錯(cuò)場(chǎng)景的效果不好，在進(jìn)行壞例(badcase)的修復(fù)和真實(shí)反饋數(shù)的學(xué)習(xí)記憶時(shí)，需要重新訓(xùn)練模型，可能會(huì)影響樹模型原有的糾錯(cuò)能力。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種文本糾錯(cuò)方法與裝置，以解決現(xiàn)有技術(shù)中的一個(gè)或多個(gè)技術(shù)問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種文本糾錯(cuò)方法，包括：

對(duì)查詢內(nèi)容中的待糾錯(cuò)文本進(jìn)行預(yù)處理，得到多個(gè)片段；

利用樹模型對(duì)每一片段的候選片段進(jìn)行打分，得到第一打分結(jié)果；

利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)每一片段的候選片段進(jìn)行打分，得到第二打分結(jié)果；

將所述第一打分結(jié)果和所述第二打分結(jié)果融合，得到融合打分結(jié)果；

利用融合打分結(jié)果對(duì)每一片段的候選片段進(jìn)行排序；

利用排序結(jié)果對(duì)所述待糾錯(cuò)文本進(jìn)行糾錯(cuò)。

在一種實(shí)施方式中，所述利用樹模型對(duì)每一片段的候選片段進(jìn)行打分，得到第一打分結(jié)果，包括：

對(duì)每一個(gè)片段進(jìn)行短語(yǔ)替換表片段召回，得到每一片段的各候選片段；

將各所述候選片段輸入所述樹模型進(jìn)行打分，得到第一打分結(jié)果。

在一種實(shí)施方式中，所述利用排序結(jié)果對(duì)所述待糾錯(cuò)文本進(jìn)行糾錯(cuò)，包括：

對(duì)每個(gè)片段排序后的各候選片段進(jìn)行解碼，選定融合打分結(jié)果的分值最高的候選片段為每個(gè)片段的結(jié)果片段；

將各結(jié)果片段組合形成所述待糾錯(cuò)文本的糾錯(cuò)結(jié)果文本。

在一種實(shí)施方式中，所述深度神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建過(guò)程包括：

利用對(duì)輸入的錯(cuò)誤文本的用戶糾錯(cuò)結(jié)果，形成用戶反饋語(yǔ)料；

利用糾錯(cuò)對(duì)向量LightPair2vec，對(duì)所述用戶反饋語(yǔ)料進(jìn)行所述深度神經(jīng)網(wǎng)絡(luò)模型的上下文建模，以對(duì)錯(cuò)誤文本的正確替換文本進(jìn)行擬合和記憶。

在一種實(shí)施方式中，利用對(duì)輸入的錯(cuò)誤文本的用戶糾錯(cuò)結(jié)果，形成用戶反饋語(yǔ)料，包括：

獲取輸入的錯(cuò)誤文本；

通過(guò)糾錯(cuò)提示服務(wù)提供待選擇的替換文本；

如果檢測(cè)到某個(gè)替換文本被點(diǎn)擊確認(rèn)，則將被點(diǎn)擊確認(rèn)的文本作為正確替換文本；

將所述正確替換文本映射到用戶點(diǎn)擊標(biāo)題，形成用戶反饋語(yǔ)料。

第二方面，本發(fā)明實(shí)施例提供了一種文本糾錯(cuò)裝置,包括：