[發明專利]增強語義識別模型的訓練數據的方法和裝置

在審

• 申請號: 202210636796.4
• 申請日: 2022-06-07
• 公開（公告）號: CN114896986A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 苑浩
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了增強語義識別模型的訓練數據的方法和裝置，涉及人工智能領域，尤其涉及自然語言處理領域。具體實現方案為：獲取初始訓練數據和用于語義識別的預訓練模型，其中，所述初始訓練數據包括文本信息和用于標注語義的標注信息；將所述初始訓練數據中的文本信息隨機屏蔽掉至少一個詞，得到待填空數據；將所述待填空數據輸入所述預訓練模型，進行語義識別得到預測向量；將隨機擾動向量與所述預測向量疊加，得到填空向量，并將所述填空向量轉換成填空文本信息后與所述標注信息組合成增強的訓練數據。通過該實施方式能夠快速、準確地利用少量標注數據生成多樣化的標注數據。

技術領域

本公開涉及人工智能領域，尤其涉及自然語言處理領域，具體為一種增強語義識別模型的訓練數據的方法和裝置。

背景技術

在工業界中使用深度學習模型解決問題時，最難解決的是模型的訓練數據問題。缺乏高質量的訓練數據，是深度模型在應用時的一大痛點，無論是學術界還是工業界都提供了不少的解決辦法，比如學術界提出了很多數據增強的方法，又或者提出小樣本或者零樣本的模型，而工業界最常用的就是人工標注。

在智能客服系統中也是如此，FAQ識別、意圖識別、實體識別用到了很多的深度學習模型，而且這些模型常常和領域強相關，這就意味著，智能客服系統每次落地到一個新的領域或者場景，就需要花費較多的人力和時間進行數據采集和標注，而標注的結果也不一定是高質量的，這就為業務的拓展增加了很多難度。

發明內容

本公開提供了一種增強語義識別模型的訓練數據的方法、裝置、設備、存儲介質以及計算機程序產品。

根據本公開的第一方面，提供了一種增強語義識別模型的訓練數據的方法，包括：獲取初始訓練數據和用于語義識別的預訓練模型，其中，所述初始訓練數據包括文本信息和用于標注語義的標注信息；將所述初始訓練數據中的文本信息隨機屏蔽掉至少一個詞，得到待填空數據；將所述待填空數據輸入所述預訓練模型，進行語義識別得到預測向量；將隨機擾動向量與所述預測向量疊加，得到填空向量，并將所述填空向量轉換成填空文本信息后與所述標注信息組合成增強的訓練數據。

根據本公開的第二方面，提供了一種增強語義識別模型的訓練數據的裝置，包括：獲取單元，被配置成獲取初始訓練數據和用于語義識別的預訓練模型，其中，所述初始訓練數據包括文本信息和用于標注語義的標注信息；屏蔽單元，被配置成將所述初始訓練數據中的文本信息隨機屏蔽掉至少一個詞，得到待填空數據；預測單元，被配置成將所述待填空數據輸入所述預訓練模型，進行語義識別得到預測向量；加擾單元，被配置成將隨機擾動向量與所述預測向量疊加，得到填空向量，并將所述填空向量轉換成填空文本信息后與所述標注信息組合成增強的訓練數據。

根據本公開的第三方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行第一方面中任一項所述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行第一方面中任一項所述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現第一方面中任一項所述的方法。

本公開實施例提供的增強語義識別模型的訓練數據的方法和裝置，利用采樣的隨機擾動，為生成的數據增加了多樣性，確保數據在語義不飄逸的情況下，具備更多樣的表達。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是本公開可以應用于其中的示例性系統架構圖；