[發明專利]基于對抗插值序列標注數據增強方法、裝置、設備及介質

在審

• 申請號: 202110724373.3
• 申請日: 2021-06-29
• 公開（公告）號: CN113297355A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉廣
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06F40/30
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

1.一種基于對抗插值的序列標注數據增強方法,其特征在于,包括：

獲取包含序列標注的第一樣本數據；

將所述第一樣本數據輸入預設的語言模型中，輸出符合上下文語義約束的候選詞向量，根據所述候選詞向量組成增強的第二樣本數據；

采用對抗插值的方法對所述第一樣本數據和第二樣本數據進行插值，得到插值后的增強樣本數據。

2.根據權利要求1所述的方法，其特征在于，所述預設的語言模型包括依次連接的預測層、排序選取層、歸一化層以及替換層。

3.根據權利要求2所述的方法，其特征在于，所述將所述第一樣本數據輸入預設的語言模型中，輸出符合上下文語義約束的候選詞向量，包括：

所述預測層根據上下文語義約束對所述第一樣本數據中的掩碼字進行預測，并給出所述掩碼字對應的可能字以及概率；

所述排序選取層對各個可能字對應的概率進行從大到小排序，并選取預設數量個概率較大的可能字；

所述歸一化層對選取的可能字及其對應的概率進行歸一化處理，得到歸一化后的概率分布；

所述替換層將歸一化后的可能字及其對應的概率組成候選詞向量，用候選詞向量替換所述掩碼字。

4.根據權利要求3所述的方法，其特征在于，所述歸一化層用于對選取的可能字及其對應的概率進行歸一化處理，包括：

所述歸一化層通過Softmax函數進行歸一化處理，歸一化處理的公式如下所示：

其中，S_i表示可能字i的Softmax值，eⁱ表示可能字i的指數，∑_je^j表示選取的所有可能字的指數和。

5.根據權利要求1所述的方法，其特征在于，采用對抗插值的方法對所述第一樣本數據和第二樣本數據進行插值，包括：

根據Beta分布中的隨機插值比例以及所述第一樣本數據和第二樣本數據進行隨機插值；

通過梯度下降方法調整所述隨機插值比例，得到對抗方向上的最新插值比例；

根據所述最新插值比例重新進行插值運算，得到插值后的增強樣本數據。

6.根據權利要求5所述的方法，其特征在于，根據Beta分布中的隨機插值比例以及所述第一樣本數據和第二樣本數據進行隨機插值，包括：

從所述第一樣本數據和所述第二樣本數據的混合樣本數據中隨機抽取兩個樣本；

從Beta分布中隨機抽取一個插值比例，得到隨機插值比例；

根據抽取的樣本數據、隨機插值比例以及mixup算法進行隨機插值。

7.根據權利要求5所述的方法，其特征在于，通過梯度下降方法調整所述隨機插值比例，得到對抗方向上的最新插值比例，包括：

根據預設的損失函數計算每個位置的插值損失；

對所述隨機插值比例求偏導，根據隨機插值比例的偏導值以及損失值計算當前的梯度；

根據得到的梯度更新所述隨機插值比例，得到對抗方向上的最新插值比例。

8.一種基于對抗插值的序列標注數據增強裝置,其特征在于,包括：

獲取模塊，用于獲取包含序列標注的第一樣本數據；

第一數據增強模塊，用于將所述第一樣本數據輸入預設的語言模型中，輸出符合上下文語義約束的候選詞向量，根據所述候選詞向量組成增強的第二樣本數據；

第二數據增強模塊，用于采用對抗插值的方法對所述第一樣本數據和第二樣本數據進行插值，得到插值后的增強樣本數據。

9.一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執行時，使得所述處理器執行如權利要求1至7中任一項權利要求所述的基于對抗插值的序列標注數據增強方法的步驟。

10.一種存儲有計算機可讀指令的存儲介質，所述計算機可讀指令被一個或多個處理器執行時，使得一個或多個處理器執行如權利要求1至7中任一項權利要求所述的基于對抗插值的序列標注數據增強方法的步驟。