[發明專利]一種數據處理方法及相關裝置

在審

• 申請號: 202011381498.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112529149A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳漢亭;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 陳松浩

1.一種數據處理方法，其特征在于，包括：

獲取待壓縮網絡和多個數據，所述待壓縮網絡為分類網絡；

將所述多個數據輸入所述待壓縮網絡，得到多個第一輸出結果，所述多個第一輸出結果與所述多個數據之間一一對應；

確定所述多個第一輸出結果中每個第一輸出結果所對應的獨熱one-hot標簽；

分別確定所述多個第一輸出結果中每個第一輸出結果與所述one-hot標簽之間的第一相似度；

根據所述多個第一輸出結果中每個第一輸出結果對應的所述第一相似度，在所述多個數據中確定至少一個目標數據，所述至少一個目標數據用于壓縮所述待壓縮網絡。

2.根據權利要求1所述的數據處理方法，其特征在于，所述one-hot標簽為n維標簽，所述n維標簽包括1個值為1的標簽值，以及n-1個值為0的標簽值，所述n為大于1的整數。

3.根據權利要求1或2所述的數據處理方法，其特征在于，所述根據所述多個第一輸出結果中每個第一輸出結果對應的所述第一相似度，在所述多個數據中確定至少一個目標數據，包括：

根據所述多個第一輸出結果中每個第一輸出結果對應的所述第一相似度，在所述多個數據中確定第一相似度最大的N個目標數據，所述N為第一預設閾值且所述N為大于1的整數。

4.根據權利要求1或2所述的數據處理方法，其特征在于，所述根據所述多個第一輸出結果中每個第一輸出結果對應的所述第一相似度，在所述多個數據中確定至少一個目標數據，包括：

根據所述多個第一輸出結果中每個第一輸出結果對應的所述第一相似度，在所述多個數據中確定第一相似度大于第二預設閾值的M個目標數據。

5.根據權利要求1-4任意一項所述的數據處理方法，其特征在于，所述分別確定所述多個第一輸出結果中每個第一輸出結果與所述one-hot標簽之間的第一相似度，包括：

通過計算所述多個第一輸出結果中每個第一輸出結果與所述one-hot標簽之間的相對熵或距離度量，來確定所述第一相似度。

6.根據權利要求5所述的數據處理方法，其特征在于，所述距離度量包括均方誤差MES距離或L1距離。

7.根據權利要求1-6任意一項所述的數據處理方法，其特征在于，所述方法還包括：

通過蒸餾法壓縮所述待壓縮網絡，得到目標網絡。

8.根據權利要求7所述的數據處理方法，其特征在于，所述通過蒸餾法壓縮所述待壓縮網絡，得到目標網絡，包括：

獲取學生網絡；

將所述至少一個目標數據分別輸入所述學生網絡和所述待壓縮網絡，得到所述學生網絡的第二輸出結果和所述待壓縮網絡的第三輸出結果；

根據所述第二輸出結果和所述第三輸出結果確定損失函數；

根據所述損失函數，訓練所述學生網絡，直至所述損失函數收斂，得到所述目標網絡。

9.根據權利要求8所述的數據處理方法，其特征在于，根據所述第二輸出結果和所述第三輸出結果確定損失函數，包括：

確定所述第二輸出結果和所述第三輸出結果之間的第二相似度；

至少根據所述第二相似度，確定所述損失函數。

10.根據權利要求9所述的數據處理方法，其特征在于，所述根據所述第二輸出結果和所述第三輸出結果確定損失函數，還包括：

根據所述第二輸出結果和概率轉移矩陣，確定第四輸出結果；

確定所述第三輸出結果對應的one-hot標簽；

確定所述第四輸出結果和所述第三輸出結果對應的one-hot標簽之間的第三相似度；

所述至少根據所述第二相似度，確定所述損失函數，包括：

根據所述第二相似度和所述第三相似度，確定所述損失函數。

11.根據權利要求1-10任意一項所述的數據處理方法，其特征在于，所述多個數據包括圖像數據、文本數據、視頻數據或語音數據。