[發明專利]一種神經網絡權重量化方法和神經網絡權重量化裝置

在審

• 申請號: 201710656027.X
• 申請日: 2017-08-03
• 公開（公告）號: CN109388779A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 南楠;葉麗萍;李曉會
• 申請（專利權）人: 珠海全志科技股份有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 于金平

本發明公開了一種神經網絡權重量化方法和裝置，所述方法包括：步驟1，獲取待量化矩陣集合；步驟2，將所述待量化矩陣集合中的待量化權重值量化至對數空間，得到所述待量化權重值的權重量化值，并得到量化矩陣集合；步驟3,根據所述權重量化值與所述權重量化值對應的所述待量化權重值的差值，對所述權重量化值進行補償量化，得到所述權重量化值的補償量化值，并得到補償量化矩陣集合；步驟4，將所述量化矩陣集合和所述補償量化矩陣集合，作為所述待量化矩陣集合的量化結果存儲在神經網絡中等待使用。本發明中的補償量化通過給較重要權重疊加偏移項，使其量化采樣間隔更加稠密，從而減小了量化誤差所帶來的神經網絡模型的性能損失。

技術領域

本發明涉及人工神經網絡技術領域，尤其涉及一種神經網絡權重量化方法和神經網絡權重量化裝置。

背景技術

近年來，隨著人工智能技術的迅猛發展，深度學習神經網絡在模式識別方面取得了巨大的成功，例如圖像分類、目標檢測、圖像分割、語音識別以及機器翻譯等。在上述領域中，深度學習模型的性能遠超傳統的淺度模型，甚至在某些方面達到了人類的水準。然而，性能較好的神經網絡通常具有規模較大的模型參數，使得其計算復雜度較高。計算的復雜度同時體現在空間存儲量(龐大的模型存儲體積和運行時的內存占用)和時間計算量(單次推理所需數百億次浮點運算)兩方面上。因此，對神經網絡進行壓縮和加速變得尤為重要，特別是對運行在諸如嵌入式設備、集成硬件設備以及大規模數據處理中心上的應用來說。

通過權重量化的方式，或將權重轉化為定點數，或建立量化權重碼本，實現權重共享，可以有效壓縮模型，降低神經網絡的存儲量。因而，如何設計有效的量化方法，進而針對該量化方法設計高效的硬件結構，是神經網絡技術領域亟待解決的問題。

發明內容

本發明提供一種神經網絡權重量化方法和神經網絡權重量化裝置，用以解決現有技術中神經網絡權重量化時計算復雜，效率低的問題。

依據本發明的一個方面，提供一種神經網絡權重量化方法，包括：

步驟1，獲取待量化矩陣集合；

步驟2，將所述待量化矩陣集合中的待量化權重值量化至對數空間，得到所述待量化權重值的權重量化值，并根據所述權重量化值得到量化矩陣集合；

步驟3,根據所述權重量化值與所述權重量化值對應的所述待量化權重值的差值，對所述權重量化值進行補償量化，得到所述權重量化值的補償量化值，并根據所述補償量化值得到補償量化矩陣集合；

步驟4，將所述量化矩陣集合和所述補償量化矩陣集合，作為所述待量化矩陣集合的量化結果存儲在神經網絡中等待使用。

本發明還提供一種神經網絡權重量化裝置，包括：

獲取模塊，用于獲取待量化矩陣集合；

權重量化模塊，用于將所述待量化矩陣集合中的待量化權重值量化至對數空間，得到所述待量化權重值的權重量化值，并根據所述權重量化值得到量化矩陣集合；

補償量化模塊，用于根據所述權重量化值與所述權重量化值對應的所述待量化權重值的差值，對所述權重量化值進行補償量化，得到所述權重量化值的補償量化值，并根據所述補償量化值得到補償量化矩陣集合；

量化結果存儲模塊，用于將所述量化矩陣集合和所述補償量化矩陣集合，作為所述待量化矩陣集合的量化結果存儲在神經網絡中等待使用。

本發明所提供的神經網絡權重量化方法，先將待量化矩陣集合量化至對數空間，得到量化矩陣集合后，再將初步量化矩陣的量化差值進行補償量化，得到量化補償矩陣，所述量化矩陣和所述量化補償矩陣即為所述待量化矩陣的量化結果。通過對初步量化矩陣進行補償量化，對量化所產生的量化差值做進一步的補償量化，所述補償量化通過給較重要權重疊加偏移項，使其量化采樣間隔更加稠密，從而減小了量化誤差所帶來的神經網絡模型的性能損失。