[發明專利]數據處理方法及處理裝置

有效

• 申請號: 201710678037.3
• 申請日: 2017-08-09
• 公開（公告）號: CN109376856B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/06
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本公開提供了一種數據處理方法及數據處理裝置。其中處理方法包括：將數據轉化為圖像、視頻和/或音頻格式；將格式轉化后的代表數據的圖像、視頻和/或音頻進行壓縮。上述數據處理方法能減少訪存同時減少運算量，從而獲得加速比并降低能耗。

技術領域

本公開涉及計算機領域，進一步涉及人工智能領域。

背景技術

神經網絡以及機器學習算法已經獲得了非常成功的應用。但是隨著我們設計更大規模，更深層次的神經網絡，將引入更多的權值，而超大規模權值成為神經網絡計算的一個巨大挑戰。

一方面，超大規模的權值數據對存儲提出了更高的要求，尤其是在手機等嵌入式設備中，存儲相當有限，可能導致無法存放所有的權值數據。另一個方面，大量訪問權值數據將帶來巨大的訪存能耗，因此，如何壓縮神經網絡規模成為一個亟待解決的問題。

發明內容

(一)要解決的技術問題

有鑒于此，本公開提供了一種數據處理方法及加速裝置。

(二)技術方案

根據本公開的第一方面，提供一種數據處理方法，其中包括：

將神經網絡的權值轉化為圖像、視頻和/或音頻格式；

將格式轉化后的代表神經網絡權值的圖像、視頻和/或音頻進行壓縮。

進一步的，將神經網絡的權值轉化為圖像、視頻和/或音頻格式，包括步驟：將神經網絡的每一層的權值被映射到大于等于0小于2ⁿ，其中n為正整數；設定每一層中權值的最小值Wmin和最大值Wmax，該層權值的分布區間為[Wmin，Wmax]；將該分布區間平均分為2ⁿ份，按照從小到大的順序將區間標記為0至2ⁿ-1，處于對應區間的權值映射成為該區間的編號。

進一步的，所述n為8的正整數倍。

進一步的，在將神經網絡的權值轉化為圖像格式時，包括步驟：將神經網絡的全連接層設為一個二維矩陣(Nin，Nout)，其中Nin和Nout均為大于0的正整數，Nin表示輸入神經元的個數，Nout表示輸出神經元的個數；將神經網絡的全連接層映射為一幅長為Nin，寬為Nout，大小為Nin*Nout的圖像。

進一步的，在將神經網絡的權值轉化為圖像格式時，包括步驟：將神經網絡的卷積層設為一個四維矩陣(Nfin，Nfout，Kx，Ky)，其中Nfin表示輸入特征圖像數量，Nfout表示輸出特征圖像數量，Kx*Ky表示卷積核的大小；將神經網絡卷積層的權值映射為一幅長為Nfin*Kx，寬為Nfout*Ky，大小為Nfin*Nfout*Kx*Ky的圖像。

進一步的，在將神經網絡的權值轉化為圖像格式時，包括步驟：設LSTM層的權值由m個全連接層權值組成，m為大于0的正整數，其中，第i個全連接層權值為(Nin_i，Nout_i)，i是小于m的正整數，Nin_i表示第i個全連接層權值輸入神經元個數，Nout_i表示第i個全連接層權值輸出神經元個數；將LSTM層的第i個全連接層權值被映射成長為Nin_i，寬為Nout_i，大小為Nin_i*Nout_i的圖像；LSTM層的m個全連接層總共映射為m幅不同的圖像。

進一步的，在將神經網絡的權值轉化為視頻格式時，還包括步驟：將神經網絡的全連接層設為一個二維矩陣(Nin，Nout)，其中Nin，Nout是大于0的正整數，Nin表示輸入神經元的個數，Nout表示輸出神經元的個數；將神經網絡的全連接層按照(Bin，Bout)的塊大小被分割為(Nin*Nout)/(Bin*Bout)個子塊，其中Bin是大于0小于等于Nin的正整數，Bout是大于0小于等于Nout的正整數，每一個子塊設為一幅圖像，這些圖像按照視頻格式被填充為視頻的一幀。