[發明專利]用于電力邊緣計算分類神經網絡的無數據量化訓練方法

在審

• 申請號: 202111057719.5
• 申請日: 2021-09-09
• 公開（公告）號: CN113688990A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 徐長寶;辛明勇;高吉普;劉卓毅;王宇;張歷;申彧;習偉;姚浩;陳軍健;陶偉
• 申請（專利權）人: 貴州電網有限責任公司;南方電網數字電網研究院有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 貴陽中新專利商標事務所 52100
• 代理人: 商小川

本發明公開了一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，對無訓練數據集的情況增加一個生成網絡，該生成網絡的功能是重建訓練數據，用于量化網絡的訓練；該生成網絡根據全精度網絡的反饋進行學習，生成的圖片具有高的置信度且滿足多樣性。量化網絡根據生成網絡生成的圖片，參考全精度網絡的輸出，使用知識蒸餾的方法進行學習；解決了現有技術存在的量化誤差導致分類精度嚴重下降等技術問題。

技術領域

本發明屬于機器學習神經網絡壓縮加速技術領域；尤其涉及一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法。

背景技術

隨著神經網絡的應用越來越廣泛，其所搭載的平臺也相應擴展到監控攝像頭等嵌入式設備。電力嵌入式設備同樣需要使用到支持邊緣智能計算的神經網絡算法處理器單元。嵌入式設備往往對神經網絡的功耗和存儲空間比較敏感，量化可以對神經網絡進行加速和壓縮，是實現部署的重要步驟。由于量化會帶來量化誤差導致精度下降，一般是需要對量化后的網絡進行重訓練來恢復精度。但是訓練數據集一般非常龐大，在很多情況下是不可得的。尤其是在電力應用的神經網絡中，由于公司隱私策略等原因，其電網數據屬于保密信息，訓練數據集不會公開。

現有量化方法需要原始的訓練數據集，來對量化后的網絡進行重訓練，而在缺少訓練數據集的情況下是無法進行訓練的。其余不需要訓練數據集的方法均基于對預訓練后的全精度（32位浮點）權值數據進行分析后，對其進行均勻量化。詳細來說首先分析神經網絡權值的分布，其次計算出一個截斷閾值或量化步長，然后對權值進行均勻量化。該閾值的計算方法多種多樣，可以是選取最大的權值，也可以是通過權值分布的均值和方差計算得出等。這些不需要訓練數據的方法存在的缺陷在于當使用較少比特進行量化時，往往由于過大的量化誤差導致分類精度嚴重下降。

發明內容

本發明要解決的技術問題：提供一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，以解決現有技術存在的量化誤差導致分類精度嚴重下降等技術問題。

本發明技術方案：

一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，對無訓練數據集的情況增加一個生成網絡，該生成網絡的功能是重建訓練數據，用于量化網絡的訓練。

生成網絡的訓練是通過將生成的圖片輸入預訓練好的全精度網絡，通過全精度網絡的輸出來衡量生成的圖片質量計算損失函數，進而計算梯度更新參數。

衡量標準包括置信度和多樣性；置信度即為全精度網絡認為該生成圖片屬于某一類的概率，多樣性指的是一張以上生成圖片屬于不同的類別，類別包含預訓練好的全精度網絡的所有類別，并且生成每一類圖片的概率相同。

衡量標準還包括：讓生成的圖片和用于訓練全精度網絡圖片之間的分布盡可能類似。

量化網絡將全精度網絡的輸出作為標注，采用知識蒸餾的方法，計算量化網絡的損失函數，再通過該損失函數計算梯度，進而更新自身參數。

量化網絡使用全精度網絡的參數進行初始化，先訓練生成網絡，再共同訓練生成網絡和量化網絡。

訓練生成網絡的方法為：訓練時首先進行正向傳播，生成網絡輸入高斯噪聲生成訓練圖片，全精度網絡和量化網絡根據生成的訓練圖片給出自身的分類結果，根據全精度網絡的分類結果評估圖片質量計算損失函數；再進行反向傳播，生成網絡根據全精度網絡的圖片質量計算梯度更新自身參數。

量化網絡的訓練方法為：訓練過程先進行正向傳播，量化網絡根據生成網絡生成的圖片輸出分類結果，對比全精度網絡和量化網絡的分類結果計算知識蒸餾損失函數；再進行反向傳播，計算量化網絡參數的梯度，并更新量化網絡參數。

本發明的有益效果：

本發明對無訓練數據集的情況下提出額外增加一個生成網絡；生成網絡的功能就是重建訓練數據，用于量化網絡的訓練；該生成網絡的作用就是根據預訓練的全精度網絡，重建訓練數據集，用于訓練量化網絡；訓練方式采用正向傳播和反向傳播。