[發明專利]用于生成卷積神經網絡的方法和裝置

在審

• 申請號: 201810084926.1
• 申請日: 2018-01-29
• 公開（公告）號: CN108288089A
• 公開（公告）日: 2018-07-17
• 發明（設計）人: 姜志超
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于生成卷積神經網絡的方法，包括：

獲取卷積神經網絡的目標卷積層的初始輸入值和初始權重；

根據所述初始輸入值和所述初始權重，分別生成第一輸入值集合和第一權重集合；

根據當前階段的量化比例，對所述第一輸入值集合中的各第一輸入值和所述第一權重集合中的各第一權重分別進行量化取整，生成第二輸入值集合和第二權重集合，其中，所述第二權重集合中包括量化取整后的第一權重；

將所述第二權重集合作為所述目標卷積層的權重，并確定所述目標卷積層的權重在當前階段的總量化比例是否達到預設比例值；

響應于確定所述目標卷積層的權重在當前階段的總量化比例達到預設比例值，將當前階段的卷積神經網絡作為目標卷積神經網絡，并存儲所述目標卷積神經網絡。

2.根據權利要求1所述的方法，其中，所述方法還包括：

響應于確定所述目標卷積層的權重在當前階段的總量化比例未達到預設比例值，根據損失函數對當前階段的卷積神經網絡進行訓練，以調整所述第二權重集合中未量化取整的第一權重，直至損失函數的值趨于目標值；獲取下一階段的量化比例作為當前階段的量化比例；根據當前階段的量化比例，對所述第二輸入值集合中未量化取整第一輸入值和所述第二權重集合中未量化取整的第一權重分別進行量化取整，以更新所述第二輸入值集合和所述第二權重集合；將更新的第二權重集合作為所述目標卷積層的權重，并確定所述目標卷積層的權重在當前階段的總量化比例是否達到所述預設比例值。

3.根據權利要求1所述的方法，其中，所述根據所述初始輸入值和所述初始權重，分別生成第一輸入值集合和第一權重集合，包括：

根據量化編碼的位數，將所述初始輸入值的范圍和所述初始權重的范圍分別均勻劃分為預設數目個子區間，其中，所述預設數目與所述量化編碼的位數正相關；

根據位于預設數目個子區間中的各輸入值和各權重，分別生成第一輸入值集合和第一權重集合。

4.根據權利要求3所述的方法，其中，所述對所述第一輸入值集合中的各第一輸入值和所述第一權重集合中的各第一權重分別進行量化取整，生成第二輸入值集合和第二權重集合，包括：

根據預設量化方法，對所述第一輸入值集合中的各第一輸入值進行量化取整，并將量化取整后的第一輸入值作為第二輸入值，生成第二輸入值集合；

根據所述第一權重集合中的各第一權重的分布概率，對所述第一權重集合中的各第一權重進行上取整或下取整，并將取整后的第一權重作為第二權重，生成第二權重集合。

5.根據權利要求1所述的方法，其中，所述根據所述初始輸入值和所述初始權重，分別生成第一輸入值集合和第一權重集合，包括：

根據預設的第一數值，將所述初始輸入值的范圍和所述初始權重的范圍劃分為預設數目個區間長度不同的子區間；

以所述第一數值為底數，計算各初始輸入值的對數，將計算結果作為第一輸入值，生成第一輸入值集合；

根據位于各子區間的各初始權重，確定區間權重，以作為第一權重，生成第一權重集合。

6.根據權利要求5所述的方法，其中，所述對所述第一輸入值集合中的各第一輸入值和所述第一權重集合中的各第一權重分別進行量化取整，生成第二輸入值集合和第二權重集合，包括：

對所述第一輸入值集合中的各第一輸入值進行量化取整，并以量化取整后的各第一輸入值分別為指數，計算所述第一數值的指數冪，以作為第二輸入值，生成第二輸入值集合；

根據各子區間的順序，依次對各第一權重建立序號，生成查詢表，并將各第一權重對應的序號作為第二權重，生成第二權重集合，其中，所述序號為整數，且所述查詢表中序號與和各第一權重以鍵值對形式存儲。

7.根據權利要求1所述的方法，其中，所述根據當前階段的量化比例，對所述第一輸入值集合中的各第一輸入值和所述第一權重集合中的各第一權重分別進行量化取整，包括：

根據當前階段的量化比例，在所述第一輸入值集合和所述第一權重集合中分別選取相應數量的第一輸入值和第一權重進行量化取整，其中，所述選取包括按照數值由大到小，從數值大的一端選取，或者按照量化誤差由小到大，從誤差小的一端選取。