[發(fā)明專利]一種基于多階段訓(xùn)練和編輯級別投票的中文語法錯(cuò)誤診斷方法

在審

• 申請?zhí)枺?/td>: 202210657210.2
• 申請日: 2022-06-10
• 公開（公告）號: CN115034218A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 趙鐵軍;李岳;王晨懿;朱聰慧;史華興
• 申請（專利權(quán)）人: 哈爾濱福濤科技有限責(zé)任公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/253;G06F40/49;G06K9/62
• 代理公司: 哈爾濱奧博專利代理事務(wù)所(普通合伙) 23220
• 代理人: 葉以方

1.一種基于多階段訓(xùn)練和編輯級別投票的中文語法錯(cuò)誤診斷方法，其特征在于，所述方法具體包括：

步驟一、對系統(tǒng)中的模型進(jìn)行多階段訓(xùn)練，包括1個(gè)預(yù)訓(xùn)練階段和2個(gè)微調(diào)階段，其中預(yù)訓(xùn)練階段使用無監(jiān)督合成語法錯(cuò)誤的數(shù)據(jù)，微調(diào)階段使用真實(shí)語法錯(cuò)誤的數(shù)據(jù)；

步驟二、對于輸入的文本，使用中文語法錯(cuò)誤檢查模型，以字符為單位進(jìn)行序列標(biāo)注建模，給出文本中可能存在的錯(cuò)誤的類型和位置；

步驟三、使用中文語法錯(cuò)誤糾正模型，采用基于序列到編輯的方法，除了確定文本中錯(cuò)誤的類型和位置外，還給出缺失和誤用錯(cuò)誤的糾正意見；

步驟四、使用中文拼寫錯(cuò)誤糾正模型，針對文本中最常出現(xiàn)的誤用錯(cuò)誤進(jìn)行檢查，并給出相應(yīng)的糾正結(jié)果；

步驟五、對于上述三類模型的輸出，使用編輯級別的投票策略集成多個(gè)模型的輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對系統(tǒng)中的模型進(jìn)行多階段訓(xùn)練，包括1個(gè)預(yù)訓(xùn)練階段和2個(gè)微調(diào)階段，其中預(yù)訓(xùn)練階段使用無監(jiān)督合成語法錯(cuò)誤的數(shù)據(jù)，微調(diào)階段使用真實(shí)語法錯(cuò)誤的數(shù)據(jù)，具體過程包括以下步驟：

步驟1.1、使用包含合成語法錯(cuò)誤的大量平行句對進(jìn)行預(yù)訓(xùn)練，生成過程中錯(cuò)誤的具體概率和比例是從CGED數(shù)據(jù)中統(tǒng)計(jì)得到；語料來源于中文維基百科和中文新聞?wù)Z料，對其進(jìn)行分句、清洗后，隨機(jī)選取一部分得到；合成的語法錯(cuò)誤分為詞級別和字符級別兩個(gè)粒度；

步驟1.2、使用中文GEC語料庫和CGED語料庫中有錯(cuò)誤的數(shù)據(jù)進(jìn)行微調(diào)；GEC語料庫源自NLPCC 2018的語法修正任務(wù)訓(xùn)練集，數(shù)據(jù)中包含錯(cuò)誤句和正確句的平行句對；GEC任務(wù)和CGED任務(wù)不完全一致，GEC任務(wù)的輸入是可能包含語法錯(cuò)誤的文本，輸出是正確的糾正過的文本；而CGED任務(wù)需要指出錯(cuò)誤的類型和位置，并對應(yīng)給出糾正結(jié)果；為了將GEC任務(wù)的數(shù)據(jù)用于CGED任務(wù)，使用編輯抽取工具ERRANT從錯(cuò)誤句-正確句的句對中抽取出錯(cuò)誤的類型、位置和糾正結(jié)果；

步驟1.3、使用數(shù)量少且質(zhì)量高的CGED語料庫進(jìn)行微調(diào)；本階段使用有錯(cuò)誤和無錯(cuò)誤的數(shù)據(jù)參與訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在步驟1.1中，

在詞級別生成語法錯(cuò)誤，首先需要使用中文分詞工具將每個(gè)無錯(cuò)誤的句子分割成詞，然后隨機(jī)選擇一定數(shù)量的詞，所選詞的數(shù)量是從正態(tài)分布中抽樣的概率與句子中單詞數(shù)量的乘積；對于每個(gè)選定的單詞，以一定概率執(zhí)行四個(gè)操作，分別是模擬誤用錯(cuò)誤的替換操作、針對缺失錯(cuò)誤的刪除操作、針對冗余錯(cuò)誤的插入操作、針對亂序錯(cuò)誤的打亂操作，四種修改操作均不會(huì)對命名實(shí)體進(jìn)行；四種操作具體執(zhí)行為：(1)50％的概率執(zhí)行替換操作，所選詞將被具有相似含義、發(fā)音或者包含相同字符的詞所替換；40％的情況下模擬相似意義造成的混淆，使用開源工具Synonyms選取所選詞的同義詞進(jìn)行替換；30％的情況下模擬相似發(fā)音造成的混淆，將所選單詞替換為具有相似或相同發(fā)音的詞；30％的情況下從詞表中選擇和所選詞擁有至少一個(gè)相同字符的詞進(jìn)行替換；(2)20％的概率執(zhí)行刪除操作，所選詞將被刪除；(3)20％的概率執(zhí)行插入操作，在所選詞的前面或后面添加一個(gè)詞；60％的情況下從CGED往年數(shù)據(jù)中的冗余詞錯(cuò)誤分布中隨機(jī)采樣，20％的情況下從中文停用詞中隨機(jī)選擇，20％的情況下從詞表中隨機(jī)選擇；(4)10％的概率執(zhí)行打亂操作，將所選詞與前后距離不大于2的詞進(jìn)行交換，交換不會(huì)跨越標(biāo)點(diǎn)符號；

字符級別生成語法錯(cuò)誤合成方法具體為：(1)50％的概率執(zhí)行替換操作，所選字將被具有相似發(fā)音或者字形的字所替換；60％的情況下替換為發(fā)音相似的字；20％的情況下替換為字形相似的字；20％的情況下從詞表中隨機(jī)選擇；(2)20％的概率執(zhí)行刪除操作，所選字將被刪除；(3)20％的概率執(zhí)行插入操作，在所選字的前面或后面添加一個(gè)詞；(4)10％的概率執(zhí)行打亂操作，將所選字與前后距離不大于2的字進(jìn)行交換，交換不會(huì)跨越標(biāo)點(diǎn)符號。