[發明專利]信息處理方法、神經網絡的訓練方法、裝置及存儲介質

在審

• 申請號: 201911083136.2
• 申請日: 2019-11-07
• 公開（公告）號: CN112529029A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳雷;阿米爾·卡吉斯塔·加拉希卡勒;王君;朱雄威;應江勇;姜奕祺
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳磊

1.一種信息處理方法，其特征在于，包括：

獲取初始樣本集，所述初始樣本集包括多個帶有標簽的樣本，其中，一個樣本攜帶的標簽用于標識所述樣本的類別；

確定所述多個帶有標簽的樣本中每個樣本的冗余權重，所述多個帶有標簽的樣本中第一樣本的冗余權重與所述第一樣本的類間相似度相關，所述第一樣本的類間相似度用于表示所述第一樣本與所述多個帶有標簽的樣本中所述第一樣本所屬類別以外的其他類別的樣本之間的相似程度，其中，所述第一樣本為所述每個樣本中的任意一個；

根據所述多個帶有標簽的樣本中每個樣本的冗余權重，從所述初始樣本集中去除部分樣本，以得到精簡樣本集，所述第一樣本的冗余權重越小，其被選入所述精簡樣本集的可能性越高。

2.根據權利要求1所述的方法，其特征在于，所述第一樣本的冗余權重與所述第一樣本的類間相似度負相關。

3.根據權利要求1或2所述的方法，其特征在于，所述第一樣本的類間相似度為根據所述第一樣本與所述其他類別的樣本的聚類中心之間的距離確定的。

4.根據權利要求3所述的方法，其特征在于，所述其他類別包括第1類別、第2類別、……、和第n類別，其中，n為大于1的整數；

所述第一樣本的類間相似度為根據所述第一樣本的類間距離集中的最小距離確定的，所述第一樣本的類間距離集包括所述第一樣本與所述第1類別的樣本的聚類中心之間的距離、所述第一樣本與所述第2類別的樣本的聚類中心之間的距離、……、和所述第一樣本與所述第n類別的樣本的聚類中心之間的距離。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述第一樣本的冗余權重與所述第一樣本的類內相似度正相關，所述第一樣本的類內相似度用于表示所述第一樣本與其所屬類別中其他樣本之間的相似程度。

6.根據權利要求5所述的方法，其特征在于，所述第一樣本的類內相似度為根據所述第一樣本與其所屬類別的樣本的聚類中心之間的距離確定的。

7.根據權利要求1至6中任一項所述的方法，其特征在于，在得到所述精簡樣本集之后，所述方法還包括：

基于所述精簡樣本集訓練神經網絡，所述神經網絡的學習率與取樣比例相關，所述取樣比例為在得到所述精簡樣本集的過程中從所述初始樣本集中去除的樣本的數目與所述初始樣本集中樣本的數目之間的比例。

8.根據權利要求7所述的方法，其特征在于，所述基于所述精簡樣本集訓練神經網絡，包括：

基于所述精簡樣本集對所述神經網絡進行第j次迭代訓練，j為正整數。

9.根據權利要求8所述的方法，其特征在于，在所述基于所述精簡樣本集對所述神經網絡進行第j次迭代訓練之后，所述方法還包括：

根據所述多個帶有標簽的樣本中每個樣本的冗余權重，從所述初始樣本集中去除部分樣本，以得到第j+1精簡樣本集；

基于所述第j+1精簡樣本集對所述神經網絡進行第j+1次迭代訓練。

10.根據權利要求8所述的方法，其特征在于，第j次迭代訓練處于學習率上升階段，所述神經網絡在第j次迭代訓練的學習率與所述取樣比例正相關。

11.根據權利要求8所述的方法，其特征在于,第j次迭代訓練處于學習率下降階段，所述神經網絡在第j次迭代訓練的學習率與所述取樣比例負相關。

12.根據權利要求5或6所述的方法，其特征在于，所述第一樣本的冗余權重和所述第一樣本的類內相似度與類間相似度的比值相關。