[發明專利]一種基于卷積神經網絡模型的數據處理方法及裝置

有效

• 申請號: 201710816734.0
• 申請日: 2017-09-12
• 公開（公告）號: CN107395211B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 謝啟凱;吳韶華
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30;G06N3/04;G06N3/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 李丹

本發明提供一種基于卷積神經網絡模型的數據處理方法及裝置，上述方法包括以下步驟：通過對卷積神經網絡模型中卷積層和/或全連接層的參數數據進行循環訓練，獲得預設格式離散數據；采用預設位數比特位對所述預設格式離散數據進行存儲。上述技術方案中，通過將參數數據轉換為離散數據，并根據預設位數比特位進行存儲，實現了模型壓縮存儲，同時且轉換后的模型沒有精度損失；由于采用了預設格式離散數據，使得運算效率大大提升。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于卷積神經網絡模型的數據處理方法及裝置。

背景技術

當前人類處在第四次工業革命大潮，而人工智能正是引領這次大潮的關鍵技術，由于人工智能技術功能強大，應用場景廣闊，未來有望給各行各業帶來突破并滲透到生活的方方面面，因此，各國科學家、研究人員、企業、網絡社區都在大力研究并推動人工智能的發展，而其中深度學習是最為流行的技術之一：深度學習一般采用神經網絡模型，利用大量數據對神經網絡模型進行訓練，使得機器在某些方面學到接近人類甚至超過人類能力水平，比如圖像識別、自然語言處理、下圍棋、游戲對戰、作畫、讀唇語等等。

深度學習在各個領域取得突破進展，將其應用到實際生活場景的需求也愈發強烈，尤其是在移動端與嵌入式系統的應用部署。但是，通常情況下深度學習的神經網絡模型都非常大，從幾十兆到上百兆不等，這樣的文件大小，對于移動端來說，下載時耗費的流量是用戶無法忍受的，而對于一些嵌入式系統，可能根本沒有足夠的存儲空間來存儲這么大的神經網絡模型文件。不僅如此，在使用大型模型進行計算時，移動端與嵌入式系統或者無法提供其所需的計算資源，或者計算響應延遲太高而無法滿足實際應用場景。因此，壓縮模型尺寸，并同時提供提高計算效率便成為了當前要解決的難點。

現有技術中，模型壓縮常用的方式是對模型進行剪枝(即將模型當中較小的參數或者滿足某些條件的參數刪除)，并對參數采取稀疏矩陣的方式進行存儲，這樣雖然達到了壓縮效果，但模型的精度損失也不可避免；另外也有壓縮方法采取對裁剪后的模型進行重新訓練的方法，減小模型精度損失，但在利用模型推理預測時的運算性能卻有明顯下降。

因此，迫切需要提供一種基于卷積神經網絡模型的數據處理方案來解決上述技術問題。

發明內容

本發明提供一種基于卷積神經網絡模型的數據處理方法及裝置，以解決上述問題。

本發明實施例提供一種基于卷積神經網絡模型的數據處理方法，包括以下步驟：通過對卷積神經網絡模型中卷積層和/或全連接層的參數數據進行循環訓練，獲得預設格式離散數據；

采用預設位數比特位對所述預設格式離散數據進行存儲。

本發明實施例還提供一種基于卷積神經網絡模型的數據處理裝置，包括處理器，適于實現各指令；存儲設備，適于存儲多條指令，所述指令適于由所述處理器加載并執行；

通過對卷積神經網絡模型中卷積層和/或全連接層的參數數據進行循環訓練，獲得預設格式離散數據；

采用預設位數比特位對所述預設格式離散數據進行存儲。

本發明實施例提供的技術方案：通過對卷積神經網絡模型中卷積層和/或全連接層的參數數據進行循環訓練，獲得預設格式離散數據；采用預設位數比特位對所述預設格式離散數據進行存儲。

上述技術方案中，通過將參數數據轉換為離散數據，并根據預設位數比特位進行存儲，實現了模型壓縮存儲，同時且轉換后的模型沒有精度損失；由于采用了預設格式離散數據，使得運算效率大大提升。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1所示為本發明實施例1的低比特位存儲數值與真實值對應關系表；