[發明專利]一種基于小波變換減少IO開銷的神經網絡處理系統

有效

• 申請號: 201810408130.7
• 申請日: 2018-04-28
• 公開（公告）號: CN108665062B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 張磊;金祿旸;張瀟;陳云霽
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;H03M7/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本公開提供了一種基于小波變換減少IO開銷的神經網絡處理系統，其中，所述基于小波變換的神經網絡處理系統，包括：片下壓縮單元，用于對片下數據進行壓縮并發送至片上；以及片上計算裝置，與所述片下壓縮單元連接，用于接收所述壓縮并發送至片上的數據，執行神經網絡運算；其中，所述壓縮單元基于小波變換對所述片下數據進行壓縮。本公開神經網絡處理系統，通過在加載與存儲數據時進行數據壓縮，減少了IO量，降低了時間與能量開銷。

技術領域

本公開屬于計算機技術領域，更具體地涉及一種基于小波變換的神經網絡處理系統及方法。

背景技術

人工神經網絡(Artificial Neural Networks，ANNs)簡稱為神經網絡 (NeuralNetworks，NNs)。它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間的相互連接關系，從而達到處理信息的目的。深度學習(deep learning)的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。

目前的各種神經網絡片上計算裝置，往往面臨訪存瓶頸的問題，加載與存儲數據造成了很大的時間與能量開銷。

發明內容

(一)要解決的技術問題

基于以上問題，本公開的目的在于提出一種基于小波變換的神經網絡處理系統及方法，用于解決以上技術問題的至少之一。

(二)技術方案

為了達到上述目的，作為本公開的一個方面，提供一種基于小波變換的神經網絡處理系統，包括：

片下壓縮單元，用于對片下數據進行壓縮并發送至片上；以及

片上計算裝置，與所述片下壓縮單元連接，用于接收所述壓縮并發送至片上的數據，執行神經網絡運算；

其中，所述壓縮單元基于小波變換對所述片下數據進行壓縮。

在一些實施例中，所述的神經網絡處理系統，還包括：

片上解壓縮單元，設于所述片上計算裝置內，用于對經所述片下壓縮單元壓縮并發送至片上的數據進行解壓縮；

片上壓縮單元，設于所述片上計算裝置內，用于對片上數據進行壓縮并發送至片下；以及

片下解壓縮單元，設于所述片上計算裝置外，用于對經所述片上壓縮單元壓縮并發送至片下的數據進行解壓縮。

在一些實施例中，通過PCIe總線、DMA、無線網絡實現所述數據在片上與片下之間傳輸。

在一些實施例中，所述壓縮單元及解壓縮單元利用小波基函數對數據進行小波變換，所述小波基函數包括哈爾基函數、Daubechies小波基函數、 Biorthogonal小波基函數、Mexican Hat小波基函數、Coiflets小波基函數、 Symlets小波基函數、Morlet小波基函數、Meyer小波基函數、Gaus小波基函數、Dmeyer小波基函數、ReverseBior小波基函數。

在一些實施例中，利用所述小波基函數通過閾值法、截取法、舍高頻和取低頻法對數據進行壓縮。

在一些實施例中，所述小波變換為一維的小波變換或二維的小波變換。

在一些實施例中，利用所述壓縮單元進行壓縮的數據及利用所述解壓縮單元進行解壓縮的數據包括神經網絡中的神經元數據和權值數據。

在一些實施例中，所述片上計算裝置還包括：存儲單元、指令控制單元以及運算單元；其中，

所述存儲單元用于存儲運算指令以及經所述片下壓縮單元壓縮后的數據；