[發明專利]一種神經網絡壓縮方法及其相關設備

在審

• 申請號: 202110221937.1
• 申請日: 2021-02-27
• 公開（公告）號: CN113065638A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 聶迎;韓凱;劉振華;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種神經網絡壓縮方法，其特征在于，所述方法包括：

獲取目標圖像；

將所述目標圖像輸入第一神經網絡，得到第二神經網絡的量化比特數，其中，所述第二神經網絡用于對所述目標圖像進行圖像處理，所述第二神經網絡的量化比特數與所述圖像處理所需的計算量正相關；

根據所述第二神經網絡的量化比特數，對所述第二神經網絡的參數進行量化處理，得到量化處理后的第二神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述第二神經網絡的量化比特數包含所述第二神經網絡中M層網絡的量化比特數，所述根據所述第二神經網絡的量化比特數，對所述第二神經網絡的參數進行量化處理，得到量化處理后的第二神經網絡具體包括：

根據所述第二神經網絡中第i層網絡的量化比特數，對所述第i層網絡的參數進行量化處理，得到量化處理后的第二神經網絡，其中，i＝1，2，...，M，M為正整數。

3.根據權利要求2所述的方法，其特征在于，所述將所述目標圖像輸入第一神經網絡，得到第二神經網絡的量化比特數具體包括：

將所述目標圖像輸入第一神經網絡，得到所述第二神經網絡中第i層網絡的候選比特數的概率；

根據所述概率的大小，從所述第i層網絡的候選比特數中選擇所述第i層網絡的量化比特數。

4.根據權利要求1至3任意一項所述的方法，其特征在于，所述方法還包括：

將所述目標圖像輸入所述量化處理后的第二神經網絡，得到所述目標圖像的特征。

5.一種神經網絡壓縮方法，其特征在于，所述方法包括：

獲取目標圖像；

將所述目標圖像輸入第三神經網絡，得到第二神經網絡對應的目標分辨率，其中，所述第二神經網絡用于對所述目標圖像進行圖像處理，所述第二神經網絡對應的目標分辨率與所述圖像處理所需的計算量正相關；

將所述目標圖像的分辨率調整為目標分辨率，得到目標分辨率的目標圖像。

6.根據權利要求5所述的方法，其特征在于，所述將所述目標圖像輸入第三神經網絡，得到第二神經網絡對應的目標分辨率具體包括：

將所述目標圖像輸入第三神經網絡，得到第二神經網絡對應的候選分辨率的概率；

根據所述概率的大小，從所述第二神經網絡對應的候選分辨率選擇所述第二神經網絡對應的目標分辨率。

7.根據權利要求5或6所述的方法，其特征在于，所述將所述目標圖像的分辨率調整為目標分辨率，得到目標分辨率的目標圖像之后，所述方法還包括：

將所述目標分辨率的目標圖像輸入所述第二神經網絡，得到所述目標分辨率的目標圖像的特征。

8.一種模型訓練方法，其特征在于，所述方法包括：

獲取待訓練圖像；

將所述待訓練圖像輸入第一待訓練模型，得到第二待訓練模型的量化比特數；

根據所述第二待訓練模型的量化比特數，對所述第二待訓練模型的參數進行量化處理，得到量化處理后的第二待訓練模型；

將所述待訓練圖像輸入所述量化處理后的第二待訓練模型，得到待訓練圖像的特征；

根據所述第二待訓練模型的量化比特數和所述待訓練圖像的特征，更新所述第一待訓練模型的參數以及所述第二待訓練模型的參數，直至滿足模型訓練條件，得到第一神經網絡和第二神經網絡。

9.根據權利要求8所述的方法，其特征在于，所述根據所述第二待訓練模型的量化比特數和所述待訓練圖像的特征，更新所述第一待訓練模型的參數以及所述第二待訓練模型的參數，直至滿足模型訓練條件，得到第一神經網絡和第二神經網絡具體包括：

根據所述第二待訓練模型的量化比特數和所述預置比特數之間的偏差，以及所述待訓練圖像的特征和所述待訓練圖像的真實特征之間的偏差，獲取目標損失；

根據所述目標損失更新所述第一待訓練模型的參數以及所述第二待訓練模型的參數，直至滿足模型訓練條件，得到第一神經網絡和第二神經網絡。