[發明專利]通過元學習實現語法改錯少樣本領域適應的方法及系統

有效

• 申請號: 202011183390.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112364990B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 楊麟兒;張生盛;黃雅平;楊爾弘;龐桂娜
• 申請（專利權）人: 北京語言大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62;G06F30/27;G06F40/253
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;付忠林

1.一種通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述通過元學習實現語法改錯少樣本領域適應的方法包括：

構建預訓練數據集，所述預訓練數據集中包括二語學習者所寫的句子和母語修改者對二語學習者所寫的句子的語法進行修改后的句子；

構建源領域數據集，所述源領域數據集中包括多個領域的語法改錯數據；

構建目標領域數據集，所述目標領域數據集包括驗證領域的數據和測試領域的數據；

先使用所述預訓練數據集對預設的語法改錯模型進行預訓練；然后，使用所述源領域數據集對預訓練后的語法改錯模型進行元訓練；

基于所述目標領域數據集，對元訓練后的語法改錯模型進行預設參數的調整，使得調整后的語法改錯模型可以應用于對所述目標領域數據集中的數據進行語法改錯的測試；

所述語法改錯模型進行語法改錯的過程，包括：

獲取待改錯的句子X＝{x₁,…,x_M}、相應的二語學習者的領域c，以及基于神經機器翻譯的領域感知語法改錯模型，對輸出句子的條件概率Y＝{y₁,…,y_N}進行建模：其中，θ是模型參數；

首先將語法改錯模型的參數適應到二語學習者領域c，然后以待改錯的句子為條件對輸出句子進行建模：其中，θ_c是適應到對應的二語學習者領域的模型參數的集合。

2.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述語法改錯模型以二語學習者所寫的句子和母語修改者對二語學習者所寫的句子的語法進行修改后的句子一一對應，形成句對作為輸入。

3.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述少樣本領域為二語學習者語法改錯數據量小于預設值的領域。

4.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述預設的語法改錯模型為基于梯度下降的語法改錯模型。

5.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述預訓練為通過所述預訓練數據集對預設的語法改錯模型進行訓練，以得到一套模型參數，利用得到的模型參數對模型進行初始化。

6.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，所述學習者領域的定義標準為學習者的母語或熟練程度。

7.如權利要求1所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，使用源領域數據集對預訓練后的語法改錯模型進行元訓練，包括：

定義一組源任務其中每個源任務是具有預設類型學習者領域的語法改錯系統，而k是學習者的領域數；對于每個元學習事件，從τ中隨機抽取任務然后，從的數據中獨立抽取兩個批次，分別是支持批次和查詢批次首先使用更新語法改錯模型參數：其中α是學習率，L是交叉熵損失函數，L的計算公式為：

在上評估更新后的參數并使用從該評估中計算出的梯度來更新原始模型參數θ，在更新θ前匯總多輪源任務，原始模型參數θ更新如下：其中，β為元學習率；

在元訓練片段結束之后，從新的目標任務T_c的示例中完成預設類型任務的學習，以獲得預設類型任務的模型參數θ_c。

8.如權利要求7所述的通過元學習實現語法改錯少樣本領域適應的方法，其特征在于，元參數的更新使用一階近似值，以節省內存消耗。

9.一種通過元學習實現語法改錯少樣本領域適應的系統，其特征在于，所述通過元學習實現語法改錯少樣本領域適應的系統包括：

預訓練數據集構建模塊，用于構建預訓練數據集，所述預訓練數據集中包括二語學習者所寫的句子和母語修改者對二語學習者所寫的句子的語法進行修改后的句子；

源領域數據集構建模塊，用于構建源領域數據集，所述源領域數據集中包括多個領域的語法改錯數據；

目標領域數據集構建模塊，用于構建目標領域數據集，所述目標領域數據集中包括驗證領域的數據和測試領域的數據；

模型訓練模塊，用于先使用所述預訓練數據集對預設的語法改錯模型進行預訓練；然后，使用所述源領域數據集對預訓練后的語法改錯模型進行元訓練；

模型調整模塊，用于基于所述目標領域數據集，對元訓練后的語法改錯模型進行預設參數的調整，使得調整后的語法改錯模型可以應用于對所述目標領域數據集中的數據進行語法改錯的測試；

所述語法改錯模型進行語法改錯的過程，包括：

獲取待改錯的句子X＝{x₁,…,x_M}、相應的二語學習者的領域c，以及基于神經機器翻譯的領域感知語法改錯模型，對輸出句子的條件概率Y＝{y₁,…,y_N}進行建模：其中，θ是模型參數；

首先將語法改錯模型的參數適應到二語學習者領域c，然后以待改錯的句子為條件對輸出句子進行建模：其中，θ_c是適應到對應的二語學習者領域的模型參數的集合。