[發(fā)明專(zhuān)利]中文語(yǔ)法錯(cuò)誤的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910978231.2
• 申請(qǐng)日: 2019-10-15
• 公開(kāi)（公告）號(hào): CN110866390B
• 公開(kāi)（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 王健宗;程寧;于鳳英
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F40/253
• 分類(lèi)號(hào): G06F40/253;G06F40/289;G06F16/35;G06N3/04
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

本發(fā)明提供了中文語(yǔ)法錯(cuò)誤的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)。該方法包括獲取待識(shí)別話(huà)術(shù)；計(jì)算待識(shí)別話(huà)術(shù)中每個(gè)字對(duì)應(yīng)的初始特征組；將初始特征組輸入至雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中得到中間特征；將每個(gè)字對(duì)應(yīng)的中間特征按照待識(shí)別話(huà)術(shù)中各個(gè)字的順序進(jìn)行拼接，得到結(jié)果特征；將結(jié)果特征輸入至LR分類(lèi)器，得到待識(shí)別話(huà)術(shù)的識(shí)別指標(biāo)，其中，識(shí)別指標(biāo)用于表征待識(shí)別話(huà)術(shù)包括語(yǔ)法錯(cuò)誤的概率；以及根據(jù)識(shí)別指標(biāo)確定待識(shí)別話(huà)術(shù)是否包括語(yǔ)法錯(cuò)誤。通過(guò)本發(fā)明，能夠提高中文語(yǔ)法錯(cuò)誤的識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)法錯(cuò)誤識(shí)別技術(shù)領(lǐng)域，尤其涉及一種中文語(yǔ)法錯(cuò)誤的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

中文是一種古老并且復(fù)雜的語(yǔ)言，在其漫長(zhǎng)的發(fā)展歷史中，出現(xiàn)了很多與其它語(yǔ)言不同的特點(diǎn)。比如，相對(duì)于英文，中文既沒(méi)有單復(fù)數(shù)形式，也沒(méi)有動(dòng)詞時(shí)態(tài)的變化。中文相對(duì)而言表達(dá)方式更多樣，其語(yǔ)法結(jié)構(gòu)更靈活，而且更傾向于使用短句而不是從句，而且，中文中喜歡重復(fù)的表達(dá)，而英文省略得更多。這些大量的不同之處讓中文的語(yǔ)法錯(cuò)誤識(shí)別與其他語(yǔ)言產(chǎn)生區(qū)別。

隨著學(xué)習(xí)中文的人越來(lái)越多，對(duì)自動(dòng)識(shí)別中文語(yǔ)法錯(cuò)誤的需求越來(lái)越多，比如中文輸入法自動(dòng)拼寫(xiě)錯(cuò)誤、網(wǎng)絡(luò)文本規(guī)范資質(zhì)檢查、語(yǔ)音識(shí)別文字后處理等。相對(duì)而言，英文語(yǔ)法錯(cuò)誤識(shí)別方法已經(jīng)被研究了很多年，而中文中這方面起步地較晚，近些年才開(kāi)始引起學(xué)者們的重視。

現(xiàn)有技術(shù)中存在的一種中文語(yǔ)法錯(cuò)誤的識(shí)別方法中，基于詞語(yǔ)進(jìn)行的語(yǔ)法錯(cuò)誤識(shí)別，判斷的是話(huà)術(shù)中每個(gè)詞語(yǔ)是否錯(cuò)誤，對(duì)分詞的準(zhǔn)確性依賴(lài)較大，此外，現(xiàn)有技術(shù)中采用的特征也較少，使得對(duì)中文語(yǔ)法錯(cuò)誤識(shí)別的準(zhǔn)確性較低。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種中文語(yǔ)法錯(cuò)誤的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)中中文語(yǔ)法錯(cuò)誤識(shí)別率低的技術(shù)問(wèn)題。

一方面，為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種中文語(yǔ)法錯(cuò)誤的識(shí)別方法。

該中文語(yǔ)法錯(cuò)誤的識(shí)別方法包括：獲取待識(shí)別話(huà)術(shù)；計(jì)算待識(shí)別話(huà)術(shù)中每個(gè)字對(duì)應(yīng)的初始特征組，其中，初始特征組包括詞向量、詞嵌入向量、詞性標(biāo)識(shí)、詞性離散概率、PMI分?jǐn)?shù)和非相鄰詞匯搭配特征中的至少兩個(gè)；將初始特征組輸入至雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中得到中間特征，其中，中間特征為表征待識(shí)別話(huà)術(shù)語(yǔ)法的特征；將每個(gè)字對(duì)應(yīng)的中間特征按照待識(shí)別話(huà)術(shù)中各個(gè)字的順序進(jìn)行拼接，得到結(jié)果特征；將結(jié)果特征輸入至LR分類(lèi)器，得到待識(shí)別話(huà)術(shù)的識(shí)別指標(biāo)，其中，識(shí)別指標(biāo)用于表征待識(shí)別話(huà)術(shù)包括語(yǔ)法錯(cuò)誤的概率；以及根據(jù)識(shí)別指標(biāo)確定待識(shí)別話(huà)術(shù)是否包括語(yǔ)法錯(cuò)誤。

進(jìn)一步地，計(jì)算字的詞向量的步驟包括：根據(jù)語(yǔ)義對(duì)待識(shí)別話(huà)術(shù)進(jìn)行分詞，得到多個(gè)第一詞語(yǔ)，確定第一詞語(yǔ)的詞向量，其中，字的詞向量為其所屬的第一詞語(yǔ)的詞向量；

計(jì)算字的詞嵌入向量的步驟包括：在待識(shí)別話(huà)術(shù)的首尾分別添加間隔字，得到第一話(huà)術(shù)；以相鄰兩個(gè)字為一組對(duì)第一話(huà)術(shù)進(jìn)行分詞，得到多個(gè)第二詞語(yǔ)，每?jī)蓚€(gè)相鄰的第二詞語(yǔ)具有一個(gè)相同的字，確定第二詞語(yǔ)的詞向量，其中，字的詞嵌入向量為其所屬的第二詞語(yǔ)的詞向量，不同字的詞嵌入向量不同；

計(jì)算字的詞性標(biāo)識(shí)的步驟包括：預(yù)置詞性與詞標(biāo)識(shí)的第一對(duì)應(yīng)關(guān)系、字位置與位置標(biāo)識(shí)的第二對(duì)應(yīng)關(guān)系，根據(jù)第一詞語(yǔ)的詞性在第一對(duì)應(yīng)關(guān)系中查找到第一詞標(biāo)識(shí)，根據(jù)字的字位置在第二對(duì)應(yīng)關(guān)系中查找到第一位置標(biāo)識(shí)，其中，字位置包括字在其第一詞語(yǔ)的詞首位和非詞首位，字的詞性標(biāo)識(shí)包括第一詞標(biāo)識(shí)和第一位置標(biāo)識(shí)；

采用以下公式計(jì)算字的詞性離散概率：

其中，字的詞性離散概率為N*1的數(shù)P[i]為數(shù)組的第i個(gè)元素，x_i為字在語(yǔ)料庫(kù)中以第i種詞性標(biāo)識(shí)出現(xiàn)的次數(shù)，x_S為字在語(yǔ)料庫(kù)中出現(xiàn)的次數(shù)，N為詞性標(biāo)識(shí)的種類(lèi)；

采用以下公式計(jì)算字的PMI分?jǐn)?shù)：