[發明專利]基于深度神經網絡最小方差梯度量化壓縮及圖像處理方法

有效

• 申請號: 201911029711.0
• 申請日: 2019-10-28
• 公開（公告）號: CN110992432B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 符芳誠;周躍;崔斌;聶小楠
• 申請（專利權）人: 北京大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06K9/62;G06N20/00
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于深度神經網絡最小方差梯度量化壓縮優化方法，針對包含類別標簽的有監督數據，采用深度神經網絡中對梯度進行非均勻量化的網絡壓縮，使用韋伯分布族建模梯度分布，再通過搜索最優量化點求解量化方差最小化，使得量化誤差最小，提高深度神經網絡模型的收斂速度；包括以下步驟：

1)將深度神經網絡的訓練集數據分批輸入架構有深度神經網絡模型的多個工作計算機上；

2)多個工作計算機分別利用本地的訓練集數據對深度神經網絡模型進行訓練，并計算得出模型參數的訓練梯度值；

3)使用以下方法對梯度值進行壓縮：

31)首先建立梯度分布符合韋伯分布情況下插值參數k-CV表，確定在不同的韋伯分布參數k情況下，CV函數的函數值，在第一次訓練迭代前計算一次并常駐內存，迭代時直接調用；Γ為伽馬函數；

32)計算梯度分布的均值μ和標準差σ，并求出真實梯度下的CV值：CV＝σ/μ；

33)使用二分查找法查找31)中建立的k-CV表，確定與真實梯度分布下的CV值最接近的表中的CV值，參數k和梯度分布函數；

34)計算量化點區間；

求解量化點其中，M＝3σ；λ和k為步驟33)中的韋伯分布參數，λ＝μ/Γ(1+1/k)；量化點區間分別為{-||g||_∞,-s,0，s，||g||_∞}，其中||g||_∞代表梯度分布的∞-范數，即梯度分布元素的絕對值的最大值；

35)按照以下方法循環計算梯度分布各元素的量化之后的梯度值：

其中，g_i表示原梯度元素值，表示量化之后的元素值，[s_t,s_t+1]表示步驟34)中求解的量化點區間；

4)每個工作計算機將量化之后的梯度值通過網絡傳遞給參數服務器；參數服務器得出最終梯度值，并傳輸給每個工作計算機；

5)工作計算機收到最終梯度值后，對模型參數進行更新；

6)完成一輪迭代，并重復步驟2)～5)步進入下一次迭代，直到迭代停止，由此得到模型參數并訓練好的深度神經網絡模型；

7)將待處理的數據集輸入工作計算機中；

8)工作計算機將輸入的數據集填入步驟6)得到的訓練好的深度神經網絡模型中進行計算，輸出即為處理結果；

通過上述步驟，實現基于深度神經網絡最小方差梯度量化壓縮優化并采用優化的深度神經網絡進行數據處理。

2.如權利要求1所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，所述包含類別標簽的有監督數據為用于做圖像分類的圖像數據；將所述基于深度神經網絡最小方差梯度量化壓縮優化方法應用于圖像分類處理。

3.如權利要求2所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，步驟1)具體將用于做圖像分類的圖像訓練集數據分批輸入多個工作計算機；多個工作計算機分別利用本地的圖像訓練集對深度神經網絡模型進行訓練；模型參數包括：卷積層的卷積核參數、全連接層的權重和偏置。

4.如權利要求2所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，步驟6)得到訓練好的圖像分類模型，將待分類的圖像數據集輸入訓練好的圖像分類模型中，按照機器學習方法進行計算，得到圖像的類別概率；再根據類別概率識別得到該圖像的類別。

5.如權利要求1所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，步驟31)中，參數k取值為0.1k1。

6.如權利要求1所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，步驟5)具體采用隨機梯度下降方法對模型參數進行更新。

7.如權利要求1所述基于深度神經網絡最小方差梯度量化壓縮優化方法，其特征是，步驟34)中，通過如下公式計算得到量化點的值：

其中，為量化點的值；Γ為伽馬函數；M＝3σ。