[發(fā)明專利]文本糾錯方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111093910.5
• 申請日: 2021-09-17
• 公開（公告）號: CN113627160B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 李驍;賴眾程;王亮;高洪喜;許海金;吳鵬召;李會璟;李興輝;周柱君
• 申請（專利權(quán)）人: 平安銀行股份有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/242;G06F40/289
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及人工智能及數(shù)字醫(yī)療技術(shù)，揭露了一種文本糾錯方法，包括：對待處理文本分詞，得到分詞集，對分詞集中的各個(gè)分詞進(jìn)行同音詞查詢，利用查詢到的同音詞替換對應(yīng)的分詞，得到多個(gè)標(biāo)準(zhǔn)文本，分別計(jì)算標(biāo)準(zhǔn)文本的困惑度，選擇困惑度大于或者等于預(yù)設(shè)困惑閾值的標(biāo)準(zhǔn)文本為目標(biāo)文本，利用標(biāo)準(zhǔn)糾錯模型對所述目標(biāo)文執(zhí)行糾錯處理，得到初始糾錯結(jié)果，利用豁免詞典對初始糾錯結(jié)果進(jìn)行剔除，得到標(biāo)準(zhǔn)糾錯結(jié)果。此外，本發(fā)明還涉及區(qū)塊鏈技術(shù)，分詞集可存儲于區(qū)塊鏈的節(jié)點(diǎn)。本發(fā)明還提出一種文本糾錯裝置、電子設(shè)備以及存儲介質(zhì)。本發(fā)明可以提高文本糾錯的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種文本糾錯方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

在銀行客戶投訴處理業(yè)務(wù)場景下，客戶的投訴以投訴工單的形式在業(yè)務(wù)流程中進(jìn)行流轉(zhuǎn)處理。在投訴工單的整個(gè)生命周期中，在多個(gè)節(jié)點(diǎn)通常會產(chǎn)生大量文本，這些文本由人工通過鍵盤打字錄入到系統(tǒng)中，因此會不可避免地錄入錯別字，大量錯別字的存在影響了不同業(yè)務(wù)處理人員的工作效率，繼而影響了客戶滿意度，甚至導(dǎo)致客戶進(jìn)行二次投訴。因需要對文本進(jìn)行糾錯。

目前關(guān)于文本糾錯的解決方案通常是構(gòu)建并維護(hù)一個(gè)大型的糾錯語料庫，并結(jié)合預(yù)設(shè)規(guī)則進(jìn)行文本糾錯，這種方法需要總結(jié)一系列的業(yè)務(wù)規(guī)則，且初期構(gòu)建時(shí)人力成本的投入大、后續(xù)維護(hù)的成本高、進(jìn)行文本糾錯的準(zhǔn)確度較低。

發(fā)明內(nèi)容

本發(fā)明提供一種文本糾錯方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，其主要目的在于解決進(jìn)行文本糾錯的準(zhǔn)確度較低的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種文本糾錯方法，包括：

獲取待處理文本，對所述待處理文本進(jìn)行分詞處理，得到分詞集；

對所述分詞集中的各個(gè)分詞進(jìn)行同音詞查詢，得到所述分詞對應(yīng)的同音詞列表；

利用所述同音詞列表中的同音詞對所述分詞集中的分詞進(jìn)行替換，得到多個(gè)標(biāo)準(zhǔn)文本，并分別計(jì)算每個(gè)所述標(biāo)準(zhǔn)文本的困惑度，選擇所述困惑度大于或者等于預(yù)設(shè)的困惑閾值的標(biāo)準(zhǔn)文本為目標(biāo)文本；

利用預(yù)構(gòu)建的標(biāo)準(zhǔn)糾錯模型對所述目標(biāo)文本進(jìn)行糾錯處理，得到初始糾錯結(jié)果；

利用預(yù)設(shè)的豁免詞典剔除所述初始糾錯結(jié)果中的豁免詞，得到標(biāo)準(zhǔn)糾錯結(jié)果。

可選地，所述對所述待處理文本進(jìn)行分詞處理，得到分詞集，包括：

刪除所述待處理文本中的特殊詞和停用詞，得到初始文本；

將所述初始文本輸入預(yù)設(shè)的基準(zhǔn)分詞器中，得到多個(gè)分詞并匯總得到分詞集。

可選地，所述利用預(yù)構(gòu)建的標(biāo)準(zhǔn)糾錯模型對所述目標(biāo)文本進(jìn)行糾錯處理，得到初始糾錯結(jié)果之前，所述方法還包括：

獲取訓(xùn)練文本集，對所述訓(xùn)練文本集進(jìn)行編碼處理，得到訓(xùn)練向量集；

對所述訓(xùn)練向量集進(jìn)行特征提取處理，得到特征向量集；

將所述特征向量集輸入至所述預(yù)設(shè)文本糾錯模型中的全連接層進(jìn)行概率計(jì)算，得到預(yù)測概率值集；

計(jì)算所述預(yù)測概率值集中預(yù)測概率值和預(yù)設(shè)的真實(shí)概率值之間的交叉熵?fù)p失值；

根據(jù)所述交叉熵?fù)p失值調(diào)整所述預(yù)設(shè)文本糾錯模型的內(nèi)部參數(shù)，直到所述交叉熵?fù)p失值小于預(yù)設(shè)的損失閾值，得到標(biāo)準(zhǔn)糾錯模型。

可選地，所述計(jì)算所述預(yù)測概率值集中預(yù)測概率值和預(yù)設(shè)的真實(shí)概率值之間的交叉熵?fù)p失值，包括：

利用如下計(jì)算公式計(jì)算交叉熵?fù)p失值：