[發明專利]增強語義識別模型的訓練數據的方法和裝置

在審

• 申請號: 202210636796.4
• 申請日: 2022-06-07
• 公開（公告）號: CN114896986A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 苑浩
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種增強語義識別模型的訓練數據的方法，包括：

獲取初始訓練數據和用于語義識別的預訓練模型，其中，所述初始訓練數據包括文本信息和用于標注語義的標注信息；

將所述初始訓練數據中的文本信息隨機屏蔽掉至少一個詞，得到待填空數據；

將所述待填空數據輸入所述預訓練模型，進行語義識別得到預測向量；

將隨機擾動向量與所述預測向量疊加，得到填空向量，并將所述填空向量轉換成填空文本信息后與所述標注信息組合成增強的訓練數據。

2.根據權利要求1所述的方法，其中，所述隨機擾動向量是從高斯分布中采樣生成的。

3.根據權利要求1所述的方法，其中，所述預訓練模型通過如下步驟訓練：

獲取樣本集和用于語義識別的初始預訓練模型，其中，所述樣本集包括樣本文本和標簽信息；

從所述樣本集中選取樣本，以及執行以下訓練步驟：將選取的樣本中的樣本文本隨機屏蔽掉至少一個屏蔽詞，得到待填空樣本；將所述待填空樣本輸入所述初始預訓練模型，進行語義識別得到預測樣本；根據所述預測樣本與所述至少一個屏蔽詞計算損失值；若所述損失值小于預定損失閾值，則輸出訓練完成的預訓練模型；

若所述損失值大于等于預定損失閾值，則調整所述初始預訓練模型中的相關參數，以及從所述樣本集中重新選取樣本，繼續執行所述訓練步驟。

4.根據權利要求3所述的方法，其中，所述初始預訓練模型包括提示信息參數；以及

所述調整所述初始預訓練模型中的相關參數，包括：

調整所述初始預訓練模型中的提示信息參數，其它參數保持不變。

5.根據權利要求3所述的方法，其中，所述樣本集與所述初始訓練數據的內容相同。

6.一種增強語義識別模型的訓練數據的裝置，包括：

獲取單元，被配置成獲取初始訓練數據和用于語義識別的預訓練模型，其中，所述初始訓練數據包括文本信息和用于標注語義的標注信息；

屏蔽單元，被配置成將所述初始訓練數據中的文本信息隨機屏蔽掉至少一個詞，得到待填空數據；

預測單元，被配置成將所述待填空數據輸入所述預訓練模型，進行語義識別得到預測向量；

加擾單元，被配置成將隨機擾動向量與所述預測向量疊加，得到填空向量，并將所述填空向量轉換成填空文本信息后與所述標注信息組合成增強的訓練數據。

7.根據權利要求6所述的裝置，其中，所述隨機擾動向量是從高斯分布中采樣生成的。

8.根據權利要求6所述的裝置，其中，所述裝置還包括訓練單元，被配置成：

獲取樣本集和用于語義識別的初始預訓練模型，其中，所述樣本集包括樣本文本和標簽信息；

從所述樣本集中選取樣本，以及執行以下訓練步驟：將選取的樣本中的樣本文本隨機屏蔽掉至少一個屏蔽詞，得到待填空樣本；將所述待填空樣本輸入所述初始預訓練模型，進行語義識別得到預測樣本；根據所述預測樣本與所述至少一個屏蔽詞計算損失值；若所述損失值小于預定損失閾值，則輸出訓練完成的預訓練模型；

若所述損失值大于等于預定損失閾值，則調整所述初始預訓練模型中的相關參數，以及從所述樣本集中重新選取樣本，繼續執行所述訓練步驟。

9.根據權利要求8所述的裝置，其中，所述初始預訓練模型包括提示信息參數；以及

所述訓練單元進一步被配置成：

調整所述初始預訓練模型中的提示信息參數，其它參數保持不變。

10.根據權利要求8所述的裝置，其中，所述樣本集與所述初始訓練數據的內容相同。

11.一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-5中任一項所述的方法。