[發明專利]三值權重卷積網絡處理系統及方法

有效

• 申請號: 201710315337.5
• 申請日: 2017-05-08
• 公開（公告）號: CN107256424B
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 韓銀和;許浩博;王穎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種三值權重卷積神經網絡的處理系統。該系統包括：至少一個存儲單元，用于存儲數據和指令；至少一個控制單元，用于獲得保存在所述存儲單元的指令并發出控制信號；至少一個計算單元，用于從所述存儲單元獲得卷積神經網絡中的一層的節點值和對應的三值權重值數據并通過執行加減操作獲得下一層的節點值。本發明的處理系統減少了卷積神經網絡計算過程中的數據位寬、提高了卷積運算速度、降低了存儲容量及工作能耗。

技術領域

本發明涉及計算機技術領域，尤其涉及一種應用于三值權重卷積網絡的處理系統。

背景技術

深度學習技術在近幾年得到了飛速的發展，深度神經網絡，尤其是卷積神經網絡，在圖像識別、語音識別、自然語言理解、天氣預測、基因表達、內容推薦和智能機器人等領域取得了廣泛的應用。通過深度學習獲得的深度網絡結構是一種運算模型，其中包含大量數據節點，每個數據節點與其他數據節點相連，各個節點間的連接關系用權重表示。伴隨著神經網絡復雜度的不斷提高，神經網絡技術在實際應用過程中存在占用資源多、運算速度慢、能量消耗大等問題。

在現有技術中，為解決上述問題，可以將三值權重卷積神經網絡模型應用到圖像識別、增強現實和虛擬現實等領域。值權重卷積神經網絡通過將權重三值化(例如，采用1、0和-1表示權重和中間計算數據)減少了數據位寬，極大地降低了參數容量并且提高了網絡模型運算速度。三值權重卷積神經網絡的出現降低了圖像識別等復雜系統運行所需要的硬件配置，擴展了卷積神經網絡的應用領域。

然而，目前大部分的深度學習應用是使用中央處理器和圖形處理單元等實現的，這些技術能效不高，在嵌入式設備或低開銷數據中心等領域應用時存在嚴重的能效問題和運算速度瓶頸，難以滿足應用的性能要求，因此，很難將其應用于移動電話、嵌入式電子設備等小型化輕量級設備中。

發明內容

本發明針對三值權重卷積神經網絡的網絡特征和計算特征，提供一種應用于三值權重卷積網絡的處理系統及方法，以克服上述現有技術的缺陷。

根據本發明的第一方面，提供了一種三值權重卷積神經網絡的處理系統。該系統包括：至少一個存儲單元，用于存儲數據和指令；至少一個控制單元，用于獲得保存在所述存儲單元的指令并發出控制信號；至少一個計算單元，用于從所述存儲單元獲得卷積神經網絡中的一層的節點值和對應的三值權重值數據并通過執行加減操作獲得下一層的節點值。

在本發明的系統中，所述計算單元包括卷積單元和累加器，其中，所述卷積單元接收卷積神經網絡中的一層的節點值和對應的三值權重值數據，所述卷積單元的輸出耦合到所述累加器。

在本發明的系統中，所述卷積單元包括數值取反單元、多路選擇單元和加法器，其中，輸入數據分別通過所述數值取反單元接入至所述多路選擇單元以及直接接入至所述多路選擇單元，三值權重值數據接入至所述多路選擇單元以控制所述多路選擇單元的信號選通，所述多路選擇單元的輸出接入至所述加法器。

在本發明的系統中，所述三值權重值為1，0和-1，其中，在卷積時去除或不予考慮數值為0的權重值。

在本發明的系統中，所述三值權重值進一步重映射為函數r(z)：

其中，z表示輸入操作數，r(z)表示映射結果。

在本發明的系統中，在卷積時去除或不予考慮數值為0的權重值包括：針對數值為1或-1的權重值，設置與其相關聯的步進值，該步進值用于指示當前權重值與下一個數值為1或-1的權重值之間的距離。

根據本發明的第二方面，提供了一種三值權重卷積神經網絡的處理方法。該方法包括：獲得卷積神經網絡中的一層的節點值和對應的三值權重值數據；通過執行加減操作進行卷積來獲得下一層的節點值。

在本發明的方法中，所述三值權重值為1，0和-1，其中，在卷積時去除或不予考慮數值為0的權重值。