[發(fā)明專利]基于語(yǔ)言模型的糾錯(cuò)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010164817.8
• 申請(qǐng)日: 2020-03-11
• 公開（公告）號(hào): CN111428474A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 劉東煜;曾增烽
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F40/242
• 分類號(hào): G06F40/242;G06F40/216;G06F40/289;G06F40/284;G06F40/232;G06F40/263;G06F40/169;G06F16/31
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 劉挽瀾

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，公開了一種基于語(yǔ)言模型的糾錯(cuò)方法，通過(guò)語(yǔ)言模型對(duì)文本數(shù)據(jù)進(jìn)行兩次相同的分詞處理，得到第一詞序列和第二詞序列，在兩個(gè)詞序列的基礎(chǔ)上計(jì)算關(guān)鍵詞的分割概率，基于該概率對(duì)文本數(shù)據(jù)進(jìn)行從新分割，得到第三詞序列，在第三詞序列的基礎(chǔ)上進(jìn)行關(guān)鍵詞的拼音特征轉(zhuǎn)換，并進(jìn)行召回處理，得到候選詞，從候選詞中選擇一個(gè)滿足條件的關(guān)鍵詞對(duì)文本數(shù)據(jù)中對(duì)應(yīng)的關(guān)鍵詞進(jìn)行糾錯(cuò)操作；本發(fā)明還提供了一種基于語(yǔ)言模型的糾錯(cuò)裝置、設(shè)備及存儲(chǔ)介質(zhì)，從而有效的提高對(duì)關(guān)鍵詞的分割和識(shí)別，同時(shí)基于召回和概率相結(jié)合來(lái)選擇正確的關(guān)鍵詞進(jìn)行替換，以此降低檢測(cè)的困難，提高的檢測(cè)的精準(zhǔn)度和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種基于語(yǔ)言模型的糾錯(cuò)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)的開源NLP(Natural Language Processing，自然語(yǔ)言處理)糾錯(cuò)，僅僅靠文本語(yǔ)序進(jìn)行糾錯(cuò)，具體是通過(guò)語(yǔ)言模型來(lái)實(shí)現(xiàn)。在糾錯(cuò)中，往往需要先檢測(cè)出錯(cuò)誤的位置，然后再根據(jù)錯(cuò)誤的位置來(lái)召回該位置相應(yīng)的候選詞，最后進(jìn)行糾錯(cuò)的處理。

目前，在錯(cuò)誤的檢測(cè)方法上，有很多方法，而常用的方法包括序列標(biāo)注的方法、字典匹配方法和傳統(tǒng)語(yǔ)音模型卡閾值的方式；對(duì)于利用序列標(biāo)注的方法，需要大批的人工標(biāo)注的語(yǔ)料來(lái)進(jìn)行有監(jiān)督的訓(xùn)練；對(duì)于利用字典匹配方法，又非常依賴于字典的質(zhì)量，同時(shí)也很難保證不在字典中的字就是有錯(cuò)誤的；而利用傳統(tǒng)語(yǔ)音模型很難確定閾值，可見在現(xiàn)有技術(shù)中的，對(duì)于錯(cuò)誤的關(guān)鍵詞的檢測(cè)以及糾正的實(shí)現(xiàn)方式還是比較復(fù)雜且精準(zhǔn)度也不高。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種基于語(yǔ)言模型的糾錯(cuò)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中對(duì)于文本糾錯(cuò)的檢測(cè)過(guò)程復(fù)雜，且糾錯(cuò)準(zhǔn)確率不高的技術(shù)問(wèn)題。

為解決上述的問(wèn)題，在本發(fā)明的第一方面中提供了一種基于語(yǔ)言模型的糾錯(cuò)方法，所述基于語(yǔ)言模型的糾錯(cuò)方法包括：獲取待糾錯(cuò)的文本數(shù)據(jù)，并根據(jù)所述語(yǔ)言模型中的分割模型，對(duì)所述文本數(shù)據(jù)進(jìn)行分詞處理，得到第一詞序列和第二詞序列；計(jì)算所述第一詞序列和第二詞序列中各個(gè)關(guān)鍵詞被所述語(yǔ)言模型分割出來(lái)的概率，并根據(jù)所述概率對(duì)所述文本數(shù)據(jù)進(jìn)行二次分詞處理，得到第三詞序列；計(jì)算所述第三詞序列中的每個(gè)關(guān)鍵詞的詞頻，其中，所述詞頻為通過(guò)所述關(guān)鍵詞查詢預(yù)設(shè)的字典統(tǒng)計(jì)得到；判斷所述詞頻是否達(dá)到預(yù)設(shè)的詞頻閾值；若否，則將對(duì)應(yīng)的第一關(guān)鍵詞，通過(guò)所述語(yǔ)言模型轉(zhuǎn)換為拼音特征；根據(jù)所述拼音特征，利用預(yù)設(shè)的召回模型召回所述第一關(guān)鍵詞對(duì)應(yīng)的候選詞，并從所述候選詞中選擇正確的詞對(duì)所述第一關(guān)鍵詞進(jìn)行糾錯(cuò)。

可選的，本發(fā)明第一方面的一個(gè)可行實(shí)施方式中，所述根據(jù)所述語(yǔ)言模型中的分割模型，對(duì)所述文本數(shù)據(jù)進(jìn)行分詞處理，得到第一詞序列和第二詞序列包括：根據(jù)正向最大匹配算法，基于從左到右的方向，將所述文本數(shù)據(jù)中的連續(xù)字符最多的字段與預(yù)設(shè)的分詞表進(jìn)行匹配，若匹配到所述分詞表中存在所述字段，則切分出一個(gè)關(guān)鍵詞，直到所述文本數(shù)據(jù)分切完成，得到所述第一詞序列；根據(jù)逆向最大匹配算法，基于從右到左的方向，將所述文本數(shù)據(jù)中的連續(xù)字符最多的字段與預(yù)設(shè)的分詞表進(jìn)行匹配，若匹配到所述分詞表中存在所述字段，則切分出一個(gè)關(guān)鍵詞，直到所述文本數(shù)據(jù)分切完成，得到所述第二詞序列。

可選的，本發(fā)明第一方面的一個(gè)可行實(shí)施方式中，所述計(jì)算所述第一詞序列和第二詞序列中各個(gè)關(guān)鍵詞在所述語(yǔ)言模型中分詞時(shí)所出現(xiàn)的概率，并根據(jù)所述概率對(duì)所述文本數(shù)據(jù)進(jìn)行二次分詞處理，得到第三詞序列包括：確定所述第一詞序列和第二詞序列中相同的第二關(guān)鍵詞和不同的第三關(guān)鍵詞；分別計(jì)算所述第一詞序列和第二詞序列中位于所述第二關(guān)鍵詞的左右兩邊的第三關(guān)鍵詞，在所述語(yǔ)言模型對(duì)歷史文本數(shù)據(jù)的分割過(guò)程中被分割出來(lái)的概率，并計(jì)算左右兩邊的所有關(guān)鍵詞的總概率；從所述第一詞序列和第二詞序列中的第二關(guān)鍵詞的左邊選擇所述總概率大的詞序段，以及從所述第一詞序列和第二詞序列中的第二關(guān)鍵詞的右邊選擇所述總概率大的詞序段；基于從所述第二關(guān)鍵詞的左邊和右邊選擇的詞序段，以及所述第二關(guān)鍵詞組成新的詞序列，得到所述第三詞序列。