[發明專利]用于電力邊緣計算分類神經網絡的無數據量化訓練方法

在審

• 申請號: 202111057719.5
• 申請日: 2021-09-09
• 公開（公告）號: CN113688990A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 徐長寶;辛明勇;高吉普;劉卓毅;王宇;張歷;申彧;習偉;姚浩;陳軍健;陶偉
• 申請（專利權）人: 貴州電網有限責任公司;南方電網數字電網研究院有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 貴陽中新專利商標事務所 52100
• 代理人: 商小川

1.一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：對無訓練數據集的情況增加一個生成網絡，該生成網絡的功能是重建訓練數據，用于量化網絡的訓練。

2.根據權利要求1所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：生成網絡的訓練是通過將生成的圖片輸入預訓練好的全精度網絡，通過全精度網絡的輸出來衡量生成的圖片質量計算損失函數，進而計算梯度更新參數。

3.根據權利要求2所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：衡量標準包括置信度和多樣性；置信度即為全精度網絡認為該生成圖片屬于某一類的概率，多樣性指的是一張以上生成圖片屬于不同的類別，類別包含預訓練好的全精度網絡的所有類別，并且生成每一類圖片的概率相同。

4.根據權利要求3所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：衡量標準還包括：讓生成的圖片和用于訓練全精度網絡圖片之間的分布盡可能類似。

5.根據權利要求1所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：量化網絡將全精度網絡的輸出作為標注，采用知識蒸餾的方法，計算量化網絡的損失函數，再通過該損失函數計算梯度，進而更新自身參數。

6.根據權利要求1所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：量化網絡使用全精度網絡的參數進行初始化，先訓練生成網絡，再共同訓練生成網絡和量化網絡。

7.根據權利要求6所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：訓練生成網絡的方法為：訓練時首先進行正向傳播，生成網絡輸入高斯噪聲生成訓練圖片，全精度網絡和量化網絡根據生成的訓練圖片給出自身的分類結果，根據全精度網絡的分類結果評估圖片質量計算損失函數；再進行反向傳播，生成網絡根據全精度網絡的圖片質量計算梯度更新自身參數。

8.根據權利要求6所述的一種用于電力邊緣計算分類神經網絡的無數據量化訓練方法，其特征在于：量化網絡的訓練方法為：訓練過程先進行正向傳播，量化網絡根據生成網絡生成的圖片輸出分類結果，對比全精度網絡和量化網絡的分類結果計算知識蒸餾損失函數；再進行反向傳播，計算量化網絡參數的梯度，并更新量化網絡參數。