[發明專利]一種數據處理、模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202210043115.3
• 申請日: 2022-01-14
• 公開（公告）號: CN114511706A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 尉德利
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/82;G06V10/74;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;馬敬

本公開提供了一種數據處理、模型訓練方法、裝置、設備以及存儲介質，涉及人工智能技術領域，具體為深度學習、計算機視覺技術領域，可應用于圖像處理、視頻處理等視覺數據處理場景。具體實現方案為：獲得待處理數據的特征序列；計算特征序列中各特征值對應的注意力Attention系數，其中，每一特征值對應的Attention系數表征該特征值依賴特征序列中各特征值的程度；采用預設的正則項，對Attention系數進行稀疏化處理；基于稀疏化處理后的Attention系數對特征序列中的特征值進行調整；根據調整后的特征值，對待處理數據進行數據處理。應用本公開實施例提供的方案進行數據處理，能夠降低數據處理的計算復雜度。

技術領域

本公開涉及人工智能技術領域，具體為深度學習、計算機視覺技術領域，可應用于圖像處理、視頻處理等視覺數據處理場景。

背景技術

近年來神經網絡技術得到了越來越廣泛的應用，各種應用場景中使用不同的網絡模型對數據進行處理。網絡模型對待處理數據進行處理時，一般獲得待處理數據的特征序列，然后根據上述特征序列對待處理數據進行處理。

發明內容

本公開提供了一種數據處理、模型訓練方法、裝置、設備以及存儲介質。

根據本公開的一方面，提供了一種數據處理方法，包括：

獲得待處理數據的特征序列；

計算所述特征序列中各特征值對應的注意力Attention系數，其中，每一特征值對應的Attention系數表征該特征值依賴所述特征序列中各特征值的程度；

采用預設的正則項，對所述Attention系數進行稀疏化處理；

基于稀疏化處理后的Attention系數對所述特征序列中的特征值進行調整；

根據調整后的特征值，對所述待處理數據進行數據處理。

根據本公開的另一方面，提供了一種模型訓練方法，包括：

將樣本數據輸入預設的網絡模型；

獲得所述網絡模型輸出的所述樣本數據的樣本特征序列中各特征值對應的經稀疏化處理的樣本Attention系數、以及基于各特征調整值對所述樣本數據進行數據處理的處理結果，其中，所述稀疏化處理基于預設的正則項實現，各特征調整值為：基于所述樣本Attention系數對各特征值進行調整得到的值；

根據所述樣本Attention系數，獲得對所述樣本數據進行數據處理的第一損失，并根據所述處理結果和所述樣本數據的處理標注信息，獲得對所述樣本數據進行數據處理的第二損失；

基于所述第一損失和第二損失，對所述網絡模型進行訓練。

根據本公開的另一方面，提供了一種數據處理裝置，包括：

特征序列獲得模塊，用于獲得待處理數據的特征序列；

Attention系數計算模塊，用于計算所述特征序列中各特征值對應的注意力Attention系數，其中，每一特征值對應的Attention系數表征該特征值依賴所述特征序列中各特征值的程度；

稀疏化處理模塊，用于采用預設的正則項，對所述Attention系數進行稀疏化處理；

特征值調整模塊，用于基于稀疏化處理后的Attention系數對所述特征序列中的特征值進行調整；

數據處理模塊，用于根據調整后的特征值，對所述待處理數據進行數據處理。

根據本公開的另一方面，提供了一種模型訓練裝置，包括：

樣本數據輸入模塊，用于將樣本數據輸入預設的網絡模型；