[發明專利]一種基于小波變換減少IO開銷的神經網絡處理系統

有效

• 申請號: 201810408130.7
• 申請日: 2018-04-28
• 公開（公告）號: CN108665062B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 張磊;金祿旸;張瀟;陳云霽
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;H03M7/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種基于小波變換的神經網絡處理系統，包括：

片下壓縮單元，根據壓縮指令對片下數據進行壓縮并發送至片上；所述壓縮指令包括：第一操作域，用于存儲指令類型；第二操作域，用于存儲源地址是否在片上信息；第三操作域，用于存儲目的地址是否在片上信息；第四操作域，用于存儲源地址是否使用寄存器；第五操作域，用于存儲目的地址是否使用寄存器；第六操作域，用于存儲源地址；第七操作域，用于存儲目的地址；第八操作域，用于存儲寄存器號；以及

片上計算裝置，與所述片下壓縮單元連接，用于接收所述壓縮并發送至片上的數據，執行神經網絡運算；

其中，所述壓縮單元基于小波變換對所述片下數據進行壓縮，所述小波變換為一維的小波變換或二維的小波變換；

利用小波基函數通過閾值法、截取法、舍高頻和取低頻法對所述片下數據進行壓縮；

其中，利用所述壓縮單元進行壓縮的數據包括神經網絡中的神經元數據和權值數據；

還包括：

片上解壓縮單元，設于所述片上計算裝置內，用于對經所述片下壓縮單元壓縮并發送至片上的數據進行解壓縮；

片上壓縮單元，設于所述片上計算裝置內，用于對片上數據進行壓縮并發送至片下；

所述片上計算裝置還包括：存儲單元、指令控制單元以及運算單元；其中，

所述存儲單元用于存儲運算指令以及經所述片下壓縮單元壓縮后的數據；

所述片上解壓縮單元與所述存儲單元連接，用于接收所述存儲單元發送的壓縮后的數據并進行解壓縮；

所述指令控制單元與所述存儲單元連接，用于接收所述存儲單元發送的運算指令，并譯碼為相應的微指令；

所述運算單元與所述解壓縮單元和所述指令控制單元連接，用于接收所述微指令以及經所述片上解壓縮單元解壓縮后的數據，并進行神經網絡運算；

所述片上壓縮單元，用于對所述運算單元輸出的數據進行壓縮并發送至片下。

2.根據權利要求1所述的神經網絡處理系統，還包括：

片下解壓縮單元，設于所述片上計算裝置外，用于對經所述片上壓縮單元壓縮并發送至片下的數據進行解壓縮。

3.根據權利要求2所述的神經網絡處理系統，其中，通過PCIe總線、DMA、無線網絡實現所述數據在片上與片下之間傳輸。

4.根據權利要求1所述的神經網絡處理系統，其中，所述壓縮單元及解壓縮單元利用小波基函數對數據進行小波變換，所述小波基函數包括哈爾基函數、Daubechies小波基函數、Biorthogonal小波基函數、Mexican Hat小波基函數、Coiflets小波基函數、Symlets小波基函數、Morlet小波基函數、Meyer小波基函數、Gaus小波基函數、Dmeyer小波基函數、ReverseBior小波基函數。

5.根據權利要求2所述的神經網絡處理系統，其中，利用所述解壓縮單元進行解壓縮的數據包括神經網絡中的神經元數據和權值數據。

6.根據權利要求1所述的神經網絡處理系統，其中，所述片上計算裝置還包括：直接存儲訪問單元、指令緩存單元、輸入權值緩存單元、輸入神經元緩存單元以及輸出緩存單元；其中，

所述直接存儲訪問單元用于在所述存儲單元與所述指令緩存單元、所述輸入權值緩存單元、所述輸入神經元緩存單元和所述輸出緩存單元之間進行數據讀寫；

所述指令緩存單元與所述直接存儲訪問單元連接，用于接收運算指令并發送至所述指令控制單元；

所述輸入權值緩存單元與所述直接存儲訪問單元連接，用于接收權值數據并發送至所述片上解壓縮單元；

所述輸入神經元緩存單元與所述直接存儲訪問單元連接，用于接收神經元數據并發送至所述片上解壓縮單元；

所述輸出緩存單元與所述運算單元連接，用于接收運算單元輸出的數據并發送至所述直接存儲訪問單元或發送至所述片上壓縮單元。

7.根據權利要求6所述的神經網絡處理系統，其中，所述片上計算裝置還包括：預處理單元，與所述存儲單元連接，用于對輸入存儲單元的數據進行預處理。