[發明專利]神經網絡的優化方法、系統、設備及可讀存儲介質

有效

• 申請號: 202010871826.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112001495B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 張鳳賾
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 楊東明;張冉

1.一種神經網絡的優化方法，其特征在于，所述優化方法包括如下步驟：

選取一神經網絡及一校準數據集；

將所述校準數據集中的每個訓練樣本輸入所述神經網絡；

獲取所述神經網絡的每個激活層的輸出數據；

根據所述輸出數據計算得到與每個激活層對應的最優截斷值；

根據所述最優截斷值更新對應的激活層的激活函數；

基于更新后的激活函數對所述神經網絡重新訓練；

所述基于更新后的激活函數對所述神經網絡重新訓練的步驟之后，所述優化方法還包括如下步驟：

對所述神經網絡進行量化并計算量化損失；

判斷所述量化損失是否在預設閾值范圍內，若否，則將所述校準數據集中的每個訓練樣本輸入重新訓練后的神經網絡，并返回獲取所述神經網絡的每個激活層的輸出數據的步驟。

2.如權利要求1所述的神經網絡的優化方法，其特征在于，所述根據所述輸出數據計算得到與每個激活層對應的最優截斷值的步驟具體包括：

統計每個激活層的輸出數據得到原始分布直方圖，所述原始分布直方圖包括N個箱；

遍歷截止值，獲取與每個截止值對應的新分布直方圖；所述截止值的范圍為[2^bitdepth，N]，bitdepth為所述神經網絡的目標量化位深度；

計算所述新分布直方圖的概率分布函數與所述原始分布直方圖的概率分布函數的KL散度；

將與最小KL散度對應的截止值作為所述最優截斷值。

3.如權利要求2所述的神經網絡的優化方法，其特征在于，所述獲取與每個截止值對應的新分布直方圖的步驟具體包括：

對每個截止值，截斷生成一中間概率分布函數，所述中間概率分布函數為包括2^bitdepth個箱的概率分布函數；

基于概率平滑算法將所述中間概率分布函數平滑生成新概率分布函數，所述新概率分布函數為所述新分布直方圖的概率分布函數，所述新分布直方圖包括N個箱。

4.如權利要求3所述的神經網絡的優化方法，其特征在于，所述中間概率分布函數包括：

當X′T時，Q(X′)＝P(X)；

當X′＝T時，Q(X′)＝∑_X≥TP(X)；

其中，X′為與中間概率分布函數對應的分布直方圖中的每個箱的中間值，X為原始分布直方圖中的每個箱的中間值，Q為中間概率分布函數，P為原始分布直方圖的概率分布函數，T為截止值。

5.如權利要求1所述的神經網絡的優化方法，其特征在于，所述優化方法中，所述更新后的激活函數包括：

或，

其中，Act(x)為激活函數，Act__T(x)為更新后的激活函數，T_best為最優截斷值。

6.一種神經網絡的優化系統，其特征在于，所述優化系統包括選取模塊、輸入模塊、輸出數據獲取模塊、最優截斷值計算模塊、激活函數更新模塊和訓練模塊；

所述選取模塊用于選取一神經網絡及一校準數據集；

所述輸入模塊用于將所述校準數據集中的每個訓練樣本輸入所述神經網絡；

所述輸出數據獲取模塊用于獲取所述神經網絡的每個激活層的輸出數據；

所述最優截斷值計算模塊用于根據所述輸出數據計算得到與每個激活層對應的最優截斷值；

所述激活函數更新模塊用于根據所述最優截斷值更新對應的激活層的激活函數；

所述訓練模塊用于基于更新后的激活函數對所述神經網絡重新訓練；

所述優化系統還包括量化模塊和判斷模塊；

所述量化模塊用于對所述神經網絡進行量化并計算量化損失；

所述判斷模塊用于判斷所述量化損失是否在預設閾值范圍內，若否，則調用所述輸入模塊將所述校準數據集中的每個訓練樣本輸入重新訓練后的神經網絡，然后調用所述輸出數據獲取模塊。