[發明專利]一種數據處理、模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202210043115.3
• 申請日: 2022-01-14
• 公開（公告）號: CN114511706A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 尉德利
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/82;G06V10/74;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孟維娜;馬敬

1.一種數據處理方法，包括：

獲得待處理數據的特征序列；

計算所述特征序列中各特征值對應的注意力Attention系數，其中，每一特征值對應的Attention系數表征該特征值依賴所述特征序列中各特征值的程度；

采用預設的正則項，對所述Attention系數進行稀疏化處理；

基于稀疏化處理后的Attention系數對所述特征序列中的特征值進行調整；

根據調整后的特征值，對所述待處理數據進行數據處理。

2.根據權利要求1所述的方法，其中，所述計算所述特征序列中各特征值對應的注意力Attention系數，包括：

獲得所述特征序列中各特征值對應的相似度系數，其中，每一特征值對應的相似度系數包括：該特征值分別與所述特征序列中各特征值間的相似度系數；

對各特征值對應的相似度系數分別進行歸一化處理，得到各特征值對應的Attention系數。

3.根據權利要求2所述的方法，其中，所述對各特征值對應的相似度系數分別進行歸一化處理，得到各特征值對應的Attention系數，包括：

按照以下方式對每一特征值對應的相似度系數進行歸一化處理：

計算特征值對應的各相似度系數的指數表示值；

獲得計算所得指數表示值的表示值總和；

根據計算得到的各指數表示值與所述表示值總和，獲得特征值對應的Attention系數。

4.根據權利要求1-3中任一項所述的方法，其中，

所述正則項為Hoyer正則項。

5.一種模型訓練方法，包括：

將樣本數據輸入預設的網絡模型；

獲得所述網絡模型輸出的所述樣本數據的樣本特征序列中各特征值對應的經稀疏化處理的樣本Attention系數、以及基于各特征調整值對所述樣本數據進行數據處理的處理結果，其中，所述稀疏化處理基于預設的正則項實現，各特征調整值為：基于所述樣本Attention系數對各特征值進行調整得到的值；

根據所述樣本Attention系數，獲得對所述樣本數據進行數據處理的第一損失，并根據所述處理結果和所述樣本數據的處理標注信息，獲得對所述樣本數據進行數據處理的第二損失；

基于所述第一損失和第二損失，對所述網絡模型進行訓練。

6.根據權利要求5所述的方法，其中，所述根據所述樣本Attention系數，獲得對所述樣本數據進行數據處理的第一損失，包括：

計算所述樣本Attention系數的L1范數和L2范數；

根據所述L1范數和L2范數，獲得對所述樣本數據進行數據處理的第一損失。

7.根據權利要求5所述的方法，其中，所述基于所述第一損失和第二損失，對所述網絡模型進行訓練，包括：

基于所述第一損失和第二損失，計算總損失；

以最小化所述總損失的方式，調整所述網絡模型的模型參數，實現對所述網絡模型的訓練。

8.根據權利要求5所述的方法，其中，所述網絡模型按照以下方式，生成樣本特征序列中各特征值對應的經稀疏化處理的樣本Attention系數：

獲得所述樣本特征序列中各特征值對應的樣本相似度系數，其中，每一特征值對應的樣本相似度系數包括：該特征值分別與所述樣本特征序列中各特征值間的樣本相似度系數；

對各特征值對應的樣本相似度系數進行歸一化處理，得到各特征特征值對應的樣本Attention系數；

采用所述預設的正則項，對所述樣本Attention系數進行稀疏化處理。