[發(fā)明專利]一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310326309.9
• 申請(qǐng)日: 2023-03-30
• 公開（公告）號(hào): CN116341527A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 陳晨;何博;袁曉潔
• 申請(qǐng)（專利權(quán)）人: 南開大學(xué)
• 主分類號(hào): G06F40/253
• 分類號(hào): G06F40/253;G06F40/211;G06N3/045;G06N3/0455;G06N3/0499;G06N3/048;G06N3/08
• 代理公司: 天津耀達(dá)律師事務(wù)所 12223
• 代理人: 邵洪軍

1.一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法，其特征在于：包含如下步驟，

第1、獲取語(yǔ)法錯(cuò)誤校正數(shù)據(jù)集；

第2、生成成分句法序列；

第3、構(gòu)建融合成分句法信息的多任務(wù)語(yǔ)法錯(cuò)誤校正模型；

第4、使用兩階段訓(xùn)練的方式對(duì)模型進(jìn)行訓(xùn)練。

2.如權(quán)利要求1所述的一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法，其特征在于，第1步獲取語(yǔ)法錯(cuò)誤校正數(shù)據(jù)集的具體方法是：

第1.1、收集數(shù)據(jù)

收集數(shù)據(jù)集BEA-2019數(shù)據(jù)集，該數(shù)據(jù)集包括NUCLE數(shù)據(jù)集、Lang-8數(shù)據(jù)集、FCE數(shù)據(jù)集和WI+LOCNESS數(shù)據(jù)集；

第1.2、生成數(shù)據(jù)

收集One?Billion?Word數(shù)據(jù)集，選取其中的一個(gè)子集進(jìn)行樣本制作，對(duì)其中每個(gè)句子進(jìn)行單詞的插入、刪除、修改、位置交換等操作來構(gòu)建含有語(yǔ)法錯(cuò)誤的語(yǔ)句，并與原語(yǔ)句組成樣本。

3.如權(quán)利要求1所述的一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法，其特征在于，第2步生成成分句法序列的具體方法是：

使用成分句法分析工具將正確語(yǔ)句轉(zhuǎn)換為句法分析樹，而后使用前序遍歷的方法將句法分析樹轉(zhuǎn)化為序列，并將每個(gè)子樹用括號(hào)包裹。

4.如權(quán)利要求3所述的一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法，其特征在于，成分句法分析工具為CoreNLP工具。

5.如權(quán)利要求1所述的一種融合成分句法信息的語(yǔ)法錯(cuò)誤校正方法，其特征在于，第3步構(gòu)建融合成分句法信息的多任務(wù)語(yǔ)法錯(cuò)誤校正模型具體方法是：

構(gòu)建含有多任務(wù)編碼器、語(yǔ)法錯(cuò)誤校正解碼器和成分句法解碼器的序列到序列模型，

第3.1、多任務(wù)編碼器

給定一條長(zhǎng)度為n的錯(cuò)誤語(yǔ)句S＝{w₁,w₂,…,w_n}，每個(gè)單詞w_i被映射到一個(gè)連續(xù)的詞嵌入w_i′，然后可以獲得錯(cuò)誤語(yǔ)句的嵌入S′＝{w′₁,w′₂,…,w′_n}，此外，為了利用錯(cuò)誤語(yǔ)句中的詞序，加入位置編碼：

u_t＝w_t′+pos_t,

其中，pos_t為錯(cuò)誤語(yǔ)句中第t個(gè)詞的位置編碼，將e₀＝u＝(u₀,…,u_n)作為編碼器底部的輸入，該編碼器是由多個(gè)相同層的構(gòu)成，每個(gè)層由多頭自注意力機(jī)制、殘差連接、正則化層、適配器層和全連接前饋網(wǎng)絡(luò)組成，每一層經(jīng)過如下計(jì)算：

e_k＝LayerNorm(l_k+a_k),

其中，上一編碼器層的輸出e_k-1作為第k層輸入，表示該層多頭自注意力機(jī)制子層輸出，l_k表示該層第一個(gè)正則化層輸出，表示該層前饋神經(jīng)網(wǎng)絡(luò)子層輸出，a_k表示適配器子層輸出，e_k表示第k層編碼器層的輸出；

第3.2、語(yǔ)法校正解碼器

給定一條長(zhǎng)度為m的正確語(yǔ)句T＝{t₁,t₂,…,t_m}，每個(gè)單詞t_i被映射到一個(gè)連續(xù)的詞嵌入t_i′，然后可以獲得正確語(yǔ)句嵌入T′＝{t′₁,t′₂,…,t′_m}，同樣，為了利用正確語(yǔ)句中的詞序，加入位置編碼：

v_i＝t_i′+pos_i,

其中，pos_i為錯(cuò)誤語(yǔ)句中第i個(gè)詞的位置編碼，將d₀＝v＝(v₀,…,v_m)作為解碼器底部的輸入，該解碼器是由多個(gè)相同層的構(gòu)成，每個(gè)層由多頭交互注意力層、多頭自注意力層殘差連接層、正則化層和全連接前饋網(wǎng)絡(luò)組成，每一層經(jīng)過如下計(jì)算：

其中，e表示最后一層編碼器輸出，上一解碼器層的輸出d_k-1作為第k層輸入，表示該層多頭自注意力機(jī)制子層輸出，l_k表示該層第一個(gè)正則化層輸出，表示多頭交互注意力機(jī)制子層輸出，表示該層第二個(gè)正則化層輸出，表示該層前饋神經(jīng)網(wǎng)絡(luò)子層輸出，a_k表示適配器子層輸出，d_k表示第k層編碼器層的輸出；

第3.3、成分句法解碼器

給定一條長(zhǎng)度為m^*的成分句法序列每個(gè)成分句法節(jié)點(diǎn)w_i被映射到一個(gè)連續(xù)的詞嵌入w_i′，然后可以獲得正確語(yǔ)句嵌入為了利用正確語(yǔ)句中的詞序，加入位置編碼：

其中，pos_i為錯(cuò)誤語(yǔ)句中第i個(gè)詞的位置編碼，將作為成分句法解碼器底部的輸入，成分句法解碼器底部是由多個(gè)相同層的構(gòu)成，每個(gè)層由多頭交互注意力層、多頭自注意力層殘差連接層、正則化層和全連接前饋網(wǎng)絡(luò)組成，每一層經(jīng)過如下計(jì)算：

其中，e表示最后一層編碼器輸出，上一成分句法解碼器層的輸出p_k-1作為第k層輸入，表示該層多頭自注意力機(jī)制子層輸出，l_k表示該層第一個(gè)正則化層輸出，表示多頭交互注意力機(jī)制子層輸出，表示該層第二個(gè)正則化層輸出，表示該層前饋神經(jīng)網(wǎng)絡(luò)子層輸出，a_k表示適配器子層輸出，p_k表示第k層成分句法解碼器層的輸出。