[發(fā)明專(zhuān)利]錯(cuò)詞糾正方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010581289.6
• 申請(qǐng)日: 2020-06-23
• 公開(kāi)（公告）號(hào): CN111695343A
• 公開(kāi)（公告）日: 2020-09-22
• 發(fā)明（設(shè)計(jì)）人: 邱煜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類(lèi)號(hào): G06F40/232
• 分類(lèi)號(hào): G06F40/232;G06F40/289;G06F40/205
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 劉挽瀾

1.一種錯(cuò)詞糾正方法，其特征在于，所述錯(cuò)詞糾正方法包括：

獲取待處理的自然語(yǔ)言文本；

基于網(wǎng)頁(yè)爬取生成的易錯(cuò)詞庫(kù)，對(duì)所述自然語(yǔ)言文本進(jìn)行預(yù)糾正，得到第一文本；

對(duì)所述第一文本進(jìn)行分詞和序列標(biāo)注，得到文本子詞和對(duì)應(yīng)的標(biāo)注類(lèi)型，其中所述標(biāo)注類(lèi)型包括正確類(lèi)、錯(cuò)誤起點(diǎn)類(lèi)和錯(cuò)誤內(nèi)容類(lèi)；

基于預(yù)置候選字詞表，生成所述錯(cuò)誤起點(diǎn)類(lèi)和所述錯(cuò)誤內(nèi)容類(lèi)的文本子詞對(duì)應(yīng)的備選字詞，并將所述備選字詞依次寫(xiě)入所述第一文本中的對(duì)應(yīng)位置，分別得到對(duì)應(yīng)的第二文本，其中，所述候選字詞表包括常用字候選字、常用詞候選詞和專(zhuān)業(yè)詞候選詞；

計(jì)算各所述第二文本的困惑度值并相互進(jìn)行大小比較，將最小困惑度值對(duì)應(yīng)的第二文本作為正確文本輸出。

2.根據(jù)權(quán)利要求1所述的錯(cuò)詞糾正方法，其特征在于，所述易錯(cuò)詞庫(kù)存儲(chǔ)于區(qū)塊鏈中，所述基于網(wǎng)頁(yè)爬取生成的易錯(cuò)詞庫(kù)，對(duì)所述自然語(yǔ)言文本進(jìn)行預(yù)糾正，得到第一文本包括：

對(duì)所述自然語(yǔ)言文本進(jìn)行分詞，得到多個(gè)詞語(yǔ)；

基于網(wǎng)頁(yè)爬取生成的易錯(cuò)詞庫(kù)，篩選所述各詞語(yǔ)中的易錯(cuò)詞，其中所述易錯(cuò)詞庫(kù)包括易錯(cuò)詞和對(duì)應(yīng)的正確詞；

將所述正確詞寫(xiě)入所述自然語(yǔ)言文本中易錯(cuò)詞的位置，以替換所述易錯(cuò)詞，得到所述第一文本。

3.根據(jù)權(quán)利要求1所述的錯(cuò)詞糾正方法，其特征在于，所述對(duì)所述第一文本進(jìn)行分詞和序列標(biāo)注，得到文本子詞和對(duì)應(yīng)的標(biāo)注類(lèi)型包括：

以字為單位，對(duì)所述第一文本進(jìn)行分詞，得到所述第一文本對(duì)應(yīng)的文本子詞；

對(duì)所述文本子詞進(jìn)行位置編碼，得到所述文本子詞的向量；

對(duì)所述向量對(duì)應(yīng)的文本子詞進(jìn)行序列標(biāo)注，得到所述文本子詞對(duì)應(yīng)的標(biāo)注類(lèi)型。

4.根據(jù)權(quán)利要求3所述的錯(cuò)詞糾正方法，其特征在于，所述對(duì)所述向量對(duì)應(yīng)的文本子詞進(jìn)行序列標(biāo)注，得到所述文本子詞對(duì)應(yīng)的標(biāo)注類(lèi)型包括：

將所述向量映射到預(yù)置標(biāo)注類(lèi)型矩陣中，得到所述向量在各個(gè)標(biāo)注類(lèi)型下的評(píng)價(jià)分?jǐn)?shù)，其中，所述標(biāo)注類(lèi)型矩陣的標(biāo)注類(lèi)型包括正確類(lèi)、錯(cuò)誤起點(diǎn)類(lèi)和錯(cuò)誤內(nèi)容類(lèi)；

根據(jù)預(yù)置分?jǐn)?shù)閾值，將小于所述分?jǐn)?shù)閾值的評(píng)價(jià)分?jǐn)?shù)減為零；

將對(duì)所述評(píng)價(jià)分?jǐn)?shù)進(jìn)行歸一化，得到將所述向量對(duì)應(yīng)的文本子詞對(duì)應(yīng)各個(gè)標(biāo)注類(lèi)型的標(biāo)注概率值；

對(duì)所述標(biāo)注概率值進(jìn)行大小比較，并將所述標(biāo)注概率值最大的標(biāo)注類(lèi)型作為所述文本子詞對(duì)應(yīng)的標(biāo)注類(lèi)型。

5.根據(jù)權(quán)利要求1所述的錯(cuò)詞糾正方法，其特征在于，所述候選字詞表存儲(chǔ)于區(qū)塊鏈中，所述基于預(yù)置候選字詞表，生成所述錯(cuò)誤起點(diǎn)類(lèi)和所述錯(cuò)誤內(nèi)容類(lèi)的文本子詞對(duì)應(yīng)的備選字詞，并將所述備選字詞依次寫(xiě)入所述第一文本中的對(duì)應(yīng)位置，分別得到對(duì)應(yīng)的第二文本包括：

將所述錯(cuò)誤起點(diǎn)類(lèi)和所述錯(cuò)誤內(nèi)容類(lèi)的文本子詞作為候選錯(cuò)詞；

根據(jù)所述候選字詞表，確定所述候選錯(cuò)詞對(duì)應(yīng)的候選字詞；

將所述候選字詞進(jìn)行隨機(jī)組合，得到所述候選錯(cuò)詞對(duì)應(yīng)的備選字詞；

所述備選字詞依次寫(xiě)入所述第一文本中的對(duì)應(yīng)位置，以替換所述候選錯(cuò)詞，分別得到對(duì)應(yīng)的第二文本。

6.根據(jù)權(quán)利要求1所述的錯(cuò)詞糾正方法，其特征在于，所述計(jì)算各所述第二文本的困惑度值并相互進(jìn)行大小比較，將最小困惑度值對(duì)應(yīng)的第二文本作為正確文本輸出包括：

基于預(yù)置n-gram語(yǔ)言模型，計(jì)算各所述第二文本的困惑度值；

對(duì)各所述困惑度值進(jìn)行大小比較；

將最小困惑度值對(duì)應(yīng)的第二文本作為正確文本輸出。