[發明專利]訓練用于圖像識別的神經網絡的方法和裝置

在審

• 申請號: 202010175326.3
• 申請日: 2020-03-13
• 公開（公告）號: CN111695687A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 喬治斯·喬治亞迪斯;鄧偉然
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 史泉;張川緒

1.一種訓練用于圖像識別的神經網絡的方法，所述方法包括：

獲取訓練圖像；

基于訓練圖像中的第一訓練圖像對神經網絡進行預訓練；

使用解析閾值函數對預訓練后的神經網絡的層的權重進行修剪；

基于針對所有量化水平的權重的量化和解量化的加權平均來對修剪之后剩余的所述層的每個權重進行量化，以形成所述層的量化的權重；

基于所述層的量化的權重和訓練圖像中的第二訓練圖像來確定所述層的輸出特征圖；

基于針對所有量化水平的輸出特征圖的量化和解量化的加權平均來量化所述層的每個輸出特征圖；和

使用代價函數來更新解析閾值函數的參數、權重的所有量化水平的加權平均以及所述層的每個輸出特征圖的加權平均。

2.根據權利要求1所述的方法，其中，更新解析閾值函數的參數、權重的所有量化水平的加權平均以及所述層的每個輸出特征圖的加權平均的步驟還包括：優化代價函數。

3.根據權利要求2所述的方法，其中，代價函數包括修剪損失項、權重量化損失項以及特征圖量化損失項。

4.根據權利要求1所述的方法，還包括：迭代地修剪權重，量化所述層的每個權重，確定所述層的輸出特征圖，量化所述層的每個輸出特征圖，并且更新解析閾值函數的參數、權重的所有量化水平的加權平均以及所述層的每個輸出特征圖的加權平均以優化代價函數。

5.根據權利要求4所述的方法，其中，所述神經網絡的所述層是第一層，

所述方法還包括：

使用解析閾值函數來修剪預訓練后的神經網絡的第二層的權重，在預訓練后的神經網絡中，第二層在第一層之后；

基于針對所有量化水平的權重的量化和解量化的加權平均來對修剪之后剩余的第二層的每個權重進行量化，以形成第二層的量化的權重；

基于第二層的量化的權重和第一層的輸出特征圖來確定第二層的輸出特征圖；

基于針對所有量化水平的輸出特征圖的量化和解量化的加權平均來量化第二層的每個輸出特征圖；和

使用代價函數來更新解析閾值函數的參數、權重的所有量化水平的加權平均以及第二層的每個輸出特征圖的加權平均。

6.根據權利要求5所述的方法，其中，更新解析閾值函數的參數、權重的所有量化水平的加權平均以及第二層的每個輸出特征圖的加權平均的步驟還包括：優化代價函數。

7.根據權利要求1所述的方法，其中，解析閾值函數的參數包括控制解析閾值函數的銳度的第一參數，和控制解析閾值函數的第一邊緣與第二邊緣之間的距離的第二參數。

8.一種訓練用于圖像識別的神經網絡的裝置，包括：

接口，接收神經網絡，接收的神經網絡包括多個層；和

處理裝置，獲取訓練圖像；基于訓練圖像中的第一訓練圖像對接收的神經網絡進行預訓練；對預訓練后的神經網絡執行預定處理以生成包括具有已經被聯合地修剪和量化的權重和輸出特征圖的至少一個層的神經網絡，其中，預定處理包括：使用解析閾值函數來修剪預訓練后的神經網絡的所述至少一個層的權重，基于針對所有量化水平的權重的量化和解量化的加權平均來量化修剪之后剩余的所述至少一個層的每個權重以形成所述至少一個層的量化的權重，基于所述至少一個層的量化的權重和訓練圖像中的第二訓練圖像來確定所述至少一個層的輸出特征圖，基于針對所有量化水平的輸出特征圖的量化和解量化的加權平均來量化所述至少一個層的每個輸出特征圖，并且使用代價函數來更新解析閾值函數的參數、權重的所有量化水平的加權平均以及所述至少一個層的每個輸出特征圖的加權平均。

9.根據權利要求8所述的神經網絡分析器，其中，接口還輸出包括具有已經被聯合地修剪和量化的權重和輸出特征圖的至少一個層的神經網絡。

10.根據權利要求8所述的神經網絡分析器，其中，預訓練后的神經網絡是全精度訓練的神經網絡。