[發明專利]一種平衡二值化神經網絡量化方法及系統

在審

• 申請號: 201910599176.6
• 申請日: 2019-07-04
• 公開（公告）號: CN110472725A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 劉祥龍;沈明珠;秦浩桐
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11381 北京汲智翼成知識產權代理事務所(普通合伙)
• 代理人: 陳曦;陳麗<國際申請>=<國際公布>=<

本發明公開了一種平衡二值化神經網絡量化方法及系統。該方法包括如下步驟：S1，對于神經網絡中的權重進行平衡標準二值化操作，得到二值化權重；S2，對于神經網絡中的激活值進行平衡二值化操作，得到二值化激活值；S3，在神經網絡的迭代訓練過程中對網絡中的卷積層執行步驟S1和S2，生成平衡二值化神經網絡。本發明使用平衡標準化的二值化網絡權重和平衡二值化的網絡激活值，使神經網絡可以通過訓練過程中最小化損失函數，達到激活值信息熵最大化和權重、激活量化損失最小化，從而減少量化損失，提高二值化神經網絡的分類性能。

技術領域

本發明涉及一種平衡二值化神經網絡量化方法，同時涉及一種實現該方法的神經網絡量化系統，屬于深度學習技術領域。

背景技術

深度神經網絡(DNN)，尤其是深度卷積神經網絡(CNN)，已在各種計算機視覺應用中得到充分證明，如圖像分類，物體檢測和視覺分割。傳統的CNN通常具有大量參數和高性能計算要求，針對一個任務訓練和推斷過程需要耗費大量的時間。造成這一問題的主要原因是目前在各個任務上取得最好成績的模型普遍采用具有極大的深度和廣度的卷積神經網絡，使得存儲模型需要使用大量的存儲資源，并且訓練和推斷過程中產生數量巨大的浮點數運算操作，需要占用大量計算資源。例如，AlexNet具有大約6.1E7個參數，并且需要多于0.7E9FLOP來處理224×224輸入圖像。隨后，部署最先進的深度CNN模型需要昂貴的存儲和計算資源，這在很大程度上限制了DNN在諸如移動電話，相機等便攜式設備上的應用。近年來，已經提出了許多方法來學習便攜式深度神經網絡，包括權重量化，權值修剪，低秩分解，哈希映射，以及輕量級架構設計。

其中，基于量化的方法以非常低的精度表示網絡中的權重和激活，可以產生較好的網絡推斷結果和高度緊湊的深度學習網絡模型。因此，人們展開了大量的研究和探索，通過低精度表示網絡中的權重和激活，以實現神經網絡量化。但在這一過程中網絡的表達能力不可避免地下降。

為了解決上述問題，在申請號為201810218916.2的中國專利申請中公開了一種級間激活值量化方法及裝置，其中，該方法包括如下步驟：獲取神經網絡上一級激活層的激活值；采用卷積層預設權重對上一級激活層的激活值進行加權得到當前激活層的加權輸入；在當前激活層對加權輸入進行量化得到當前激活層的激活值。使得在對當前激活層加權輸入進行量化時能夠減少后續卷積層的乘法復雜度，相對于現有技術中復雜的卷積運算，能夠對神經網絡在進行激活值量化時之后減少卷積層乘法運算負擔，從而提高了神經網絡運行效率。

但是，對于模型的存儲占用和模型的計算量引起的消耗并沒有很好地處理。

發明內容

針對現有技術的不足，本發明所要解決的首要技術問題在于提供一種平衡二值化神經網絡量化方法。

本發明所要解決的另一技術問題在于提供一種平衡二值化神經網絡量化系統。

為實現上述發明目的，本發明采用下述的技術方案：

根據本發明實施例的第一方面，提供一種平衡二值化神經網絡量化方法，包括如下步驟：

S1，對于神經網絡中的權重進行平衡標準二值化操作，得到二值化權重；

S2，對于神經網絡中的激活值進行平衡二值化操作，得到二值化激活值；

S3，在神經網絡的迭代訓練過程中對網絡中的卷積層執行步驟S1和S2，生成平衡二值化神經網絡。

其中較優地，對于神經網絡中的權重進行平衡標準二值化操作，得到二值化權重，包括如下步驟：對于神經網絡中的原始權重，以卷積核為單位計算權重的均值；

對各卷積核中的權重做減均值和標準化操作，獲得全精度平衡標準化權重后使用符號函數得到二值化權重。

其中較優地，對各卷積核中的權重做減均值和標準化操作，獲得全精度平衡標準化權重后使用符號函數得到二值化權重，包括如下步驟：