[發明專利]一種高維度深度學習模型的收斂方法和裝置

有效

• 申請號: 201710332393.X
• 申請日: 2017-05-12
• 公開（公告）號: CN108875927B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 莊雨錚;鄭榮福;魏建生
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

1.一種高維度深度學習模型的收斂方法，用于圖像檢索設備，其特征在于，所述方法包括：

根據所述圖像檢索設備檢索的圖像對模型進行訓練獲得誤差表面；

根據誤差表面的第一位置，對模型采用小批量隨機梯度下降的方法進行一次單位迭代，以確定模型的解在誤差表面的第二位置，其中，所述一次單位迭代是以批量數為N，對模型進行N次迭代，所述模型包括至少X軸、Y軸和Z軸三個維度,所述誤差表面是模型的解的集合，N為大于等于1的正整數，所述第一位置為當前模型的解在誤差表面的位置，所述第二位置為模型在第一位置進行一次單位迭代后模型的解在誤差表面的位置；

根據所述一次單位迭代，確定第二位置相對于誤差表面的梯度和曲率，以及根據所述第一位置和所述第二位置確定模型的解的精度增長效率和模型誤差，所述模型誤差為前計算的第二位置的實際值與理想值的差距；

根據所述梯度、曲率、模型的解的精度增長效率和模型誤差，確定第二位置是否為誤差表面的鞍點或高噪點；

在所述誤差表面的第二位置為鞍點或高噪點時，調整下一次單位迭代的批量數，使對模型采用小批量隨機梯度下降的方法進行下一次單位迭代時，避免模型的解在誤差表面的第三位置為鞍點或高噪點，所述第三位置為模型在第二位置進行一次單位迭代后模型的解在誤差表面的位置。

2.根據權利要求1所述的方法，其特征在于，所述根據所述梯度、曲率、模型的解的精度增長效率和模型誤差，確定第二位置是否為誤差表面的鞍點或高噪點,包括：

在第二位置的梯度和曲率分別小于梯度和曲率的預設閾值、且模型誤差不小于誤差項閾值時，確定誤差表面的第二位置為鞍點。

3.根據權利要求1所述的方法，其特征在于，所述根據所述梯度、曲率、模型的解的精度增長效率和模型誤差，確定第二位置是否為誤差表面的鞍點或高噪點，包括：

在第二位置的梯度和曲率分別小于梯度和曲率的預設閾值、且模型誤差小于誤差項閾值和模型的解的精度增長效率小于收斂效率閾值時，確定第二位置為高噪點；或，

在第二位置的梯度和曲率分別不小于梯度和曲率的預設閾值、模型的解的精度增長效率小于收斂效率閾值時，確定第二位置為高噪點。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述第二位置為鞍點或高噪點時，調整下一次單位迭代的批量數，包括：

當所述第二位置為鞍點時，確定下一次單位迭代的批量數為1；

當第二位置為高噪點時，確定下一次單位迭代的批量數為：

N×(avgRate/accRatio_t)

其中，N為當前批次迭代批量數，N為大于等于1的正整數，avgRate為收斂效率閾值，accRatio_t為模型的解的精度增長效率。

5.根據權利要求4所述的方法，其特征在于，所述確定下一次單位迭代的批量數前，所述方法還包括確定模型的解的精度增長效率；

所述確定模型的解的精度增長效率包括:

根據一次迭代確定模型的當前精度和歷史精度；

根據模型的歷史精度和當前精度，確定模型的解的精度增長效率。

6.根據權利要求5所述的方法，其特征在于，所述根據模型的歷史精度和當前精度，確定模型的解的精度增長效率，包括：

通過消減累加的方式，根據模型的歷史精度和當前精度計算模型最近迭代的精度變化情況；

基于模型最近迭代的精度變化情況和模型初始精度的比值計算模型的解的精度增長效率。

7.根據權利要求1所述的方法，其特征在于，所述根據所述一次單位迭代，確定第二位置相對于誤差表面的梯度和曲率，包括：

在所述一次單位迭代的N次迭代中，從第二次迭代開始根據歷史迭代數據給每個參數的梯度做指數消減累加，得到：E[g]_t＝ρE[g]_t-1+(1-ρ)g_t，

其中，t表示迭代次數，g表示梯度，ρ表示消減因子，g_t為t次迭代的梯度，E[g]_t為t次迭代梯度的期望。