[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法

在審

• 申請?zhí)枺?/td>: 202110104829.6
• 申請日: 2021-01-26
• 公開（公告）號: CN112818669A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 王小華;令狐彬;焦璐璐;張娜;宋曉晨
• 申請（專利權(quán)）人: 山西三友和智慧信息技術(shù)股份有限公司
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/211;G06F40/284;G06F40/30;G06N3/08
• 代理公司: 太原榮信德知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 14119
• 代理人: 楊凱;連慧敏

1.一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法，其特征在于：使用生成對抗網(wǎng)絡(luò)進行語法錯誤糾正，所述生成對抗網(wǎng)絡(luò)包括生成器G_θ與鑒別器D_φ兩部分，生成器G_θ將語法錯誤的句子翻譯成語法正確的重寫句子，鑒別器D_φ評估生成器G_θ對錯誤輸入的句子進行詞匯相似、語義保留和語法進行正確重寫的概率。

2.根據(jù)權(quán)利要求1所述的一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法，其特征在于：所述生成對抗網(wǎng)絡(luò)的生成方法為：包括下列步驟：

S1、使用隨機權(quán)重θ、φ初始化生成器G_θ、鑒別器D_φ；

S2、采用最大似然估計方法MLE，利用真實數(shù)據(jù)D＝(X,Y)對生成器G_θ進行預(yù)訓(xùn)練，其中，真實數(shù)據(jù)D＝(X,Y)為正確的糾正例，X為原始輸入句子，Y為糾正后的句子；

S3、使用生成器G_θ生成負面樣本D'＝(X,Y')，并用來訓(xùn)練鑒別器D_φ；

S4、在真實數(shù)據(jù)D和負面樣本D'上預(yù)訓(xùn)練鑒別器D_φ，直到達到交叉熵損失BCE的初始精度；

S5、開始對抗訓(xùn)練，直到此生成對抗網(wǎng)絡(luò)收斂。

3.根據(jù)權(quán)利要求2所述的一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法，其特征在于：所述S1中的生成器G_θ采用添加注意機制的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，所述鑒別器D_φ采用卷積神經(jīng)網(wǎng)絡(luò)CNN。

4.根據(jù)權(quán)利要求2所述的一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法，其特征在于：所述S5中生對抗訓(xùn)練的方法為：包括下列步驟：

S5.1、輸入(X,Y)～P_data,Y'～G_θ(·|X),ρ～[0,1],λ～[0.2,0.8]，其中，ρ和λ是用來控制交替訓(xùn)練的參數(shù)，所述交替訓(xùn)練采用最大似然估計與梯度下降策略；

S5.2、如果ρ≤λ：使用鑒別器D_φ計算(X,Y')的獎勵R，并利用獎勵R通過梯度策略更新生成器G_θ

如果ρλ：使用最大似然估計方法更新生成器G_θ；

S5.3、根據(jù)下面的目標函數(shù)和梯度下降方法在(X,Y)和(X,Y')上訓(xùn)練鑒別器D_φ：

其中，為鑒別器D_φ的目標函數(shù)，所述目標函數(shù)采用標準二元交叉熵損失，P_data為訓(xùn)練數(shù)據(jù)的分布，為生成器G_θ輸出的分布；

S5.4、重復(fù)步驟S5.1-S5.3，直到此生成對抗網(wǎng)絡(luò)收斂。

5.根據(jù)權(quán)利要求4所述的一種基于生成對抗網(wǎng)絡(luò)的語法錯誤糾正方法，其特征在于：所述生成器G_θ與鑒別器D_φ更新參數(shù)的方法為：

其中：θ為生成器G_θ的參數(shù)，α_g為生成器的學(xué)習(xí)率；

其中：φ為鑒別器D_φ的參數(shù)，α_d為鑒別器的學(xué)習(xí)率。