[發明專利]一種神經網絡權重量化方法和神經網絡權重量化裝置

在審

• 申請號: 201710656027.X
• 申請日: 2017-08-03
• 公開（公告）號: CN109388779A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 南楠;葉麗萍;李曉會
• 申請（專利權）人: 珠海全志科技股份有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 于金平

1.一種神經網絡權重量化方法，其特征在于，所述方法包括：

步驟1，獲取待量化矩陣集合；

步驟2，將所述待量化矩陣集合中的待量化權重值量化至對數空間，得到所述待量化權重值的權重量化值，并根據所述權重量化值得到量化矩陣集合；

步驟3,根據所述權重量化值與所述權重量化值對應的所述待量化權重值的差值，對所述權重量化值進行補償量化，得到所述權重量化值的補償量化值，并根據所述補償量化值得到補償量化矩陣集合；

步驟4，將所述量化矩陣集合和所述補償量化矩陣集合，作為所述待量化矩陣集合的量化結果存儲在神經網絡中等待使用。

2.如權利要求1所述的神經網絡權重量化方法，其特征在于，在步驟2之前，所述方法還包括：

獲取權重量化信息，所述權重量化信息包括：重要性參數和部分量化目標；

所述步驟2，包括：

步驟21，根據所述重要性參數和所述部分量化目標，在所述待量化矩陣集合中確定部分待量化權重值；

步驟22，將所述部分待量化權重值量化至對數空間，得到所述部分待量化權重值的權重量化值，并根據所述權重量化值得到量化矩陣集合；

在步驟3之后，所述方法還包括：

步驟3A，根據所述部分量化矩陣集合和所述補償量化矩陣集合，對神經網絡進行預定訓練，并根據所述預定訓練的訓練結果更新所述待量化矩陣集合；

步驟3B，返回步驟21，直至所述待量化矩陣集合內的待量化權重值全部量化完成。

3.如權利要求2所述的神經網絡權重量化方法，其特征在于，所述根據所述部分量化矩陣集合和所述補償量化矩陣集合，對神經網絡進行訓練，并根據訓練結果更新所述待量化矩陣集合，包括：

根據所述部分量化矩陣集合和所述補償量化矩陣集合，在神經網絡中進行前向傳播運算，得到前向傳播運算值；

根據所述前向傳播運算值，對神經網絡進行后向傳播運算，得到所述待量化矩陣集合中未量化部分的權重更新值；

根據所述權重更新值、所述部分量化矩陣集合和所述補償量化矩陣集合，更新所述待量化矩陣集合。

4.如權利要求1所述的神經網絡權重量化方法，其特征在于，

所述權重量化信息包括：重要性參數和補償量化目標；

所述步驟3，包括：

根據所述重要性參數和所述補償量化目標，在所述權重量化值中確定待補償權重量化值；

根據所述待補償權重量化值與所述待補償權重量化值對應的所述待量化權重值的差值，對所述待補償權重量化值進行補償量化，得到所述待補償權重量化值的補償量化值，并根據所述補償量化值得到補償量化矩陣集合。

5.如權利要求1所述的神經網絡權重量化方法，其特征在于：

所述權重量化信息包括：重要性參數、補償量化的迭代次數、各所述迭代次數的迭代補償比例；

所述步驟3，包括：

根據所述重要性參數、所述補償量化的迭代次數、各所述迭代次數的迭代補償比例、所述權重量化值與所述權重量化值對應的所述待量化權重值的差值，對所述權重量化值進行迭代補償量化，得到迭代補償量化值，并根據所述迭代補償量化值得到迭代補償量化矩陣集合。

6.如權利要求1所述的神經網絡權重量化方法，其特征在于，

所述權重量化信息包括：補償量化期望值；

在所述步驟3之后，所述方法還包括：

根據所述補償量化期望值與所述補償量化值的差值，對所述補償量化值繼續進行補償量化，直至得到符合所述補償量化期望值的補償量化值，并根據所述補償量化值得到補償量化矩陣集合。