[發明專利]一種基于塊循環稀疏矩陣神經網絡的編解碼方法

有效

• 申請號: 201811279234.9
• 申請日: 2018-10-30
• 公開（公告）號: CN109245773B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 潘紅兵;秦子迪;朱杏偉;孫華慶;蘇巖;朱棣;吳加維;沈慶宏
• 申請（專利權）人: 南京大學
• 主分類號: H03M7/30
• 分類號: H03M7/30;G06N3/02;G06F17/16
• 代理公司: 南京匯盛專利商標事務所(普通合伙) 32238
• 代理人: 陳揚;吳揚帆

1.一種基于塊循環稀疏矩陣神經網絡的編碼方法，其特征在于包括如下步驟：

步驟1)將全連接神經網絡權值矩陣采用塊循環矩陣進行表示和稀疏化處理后，轉換成由多個子循環稀疏矩陣組成的矩陣，由W^b表示；

步驟2)將所述塊循環矩陣應用到全連接層中后，假設權值矩陣劃分為k個子矩陣，每個子矩陣的分塊大小為p×q，將全連接層中的矩陣向量乘變換成小塊的循環矩陣向量乘運算；

步驟3)將塊循環稀疏矩陣W^b由循環掩模矩陣M和非零值矩陣Val進行存儲；

步驟4)進一步對輸入的稀疏激勵向量x進行壓縮處理，激勵向量x被分成q段短向量，用x^q表示，每段向量長度為k，對于每一段向量x^q，采用權重壓縮的方式進行存儲，采用掩模向量v^q表示非零值的位置，采用非零值向量V^u存儲所有的非零元素。

2.根據權利要求1所述的基于塊循環稀疏矩陣神經網絡的編碼方法，其特征在于所述步驟1)包括如下步驟：

步驟1-1)根據式1)表示全連接層的算法；

y＝f(Wa+b) (1)

其中，a是計算輸入的激勵向量，y表示輸出向量，b表示偏置，f表示非線性函數，W表示權值矩陣；

步驟1-2)結合式(1)輸出向量y的每個元素值的運算由式(2)表現；

i表示元素所在行數，j表示元素所在列數，n表示輸入激勵的個數；

步驟1-3)根據式(3)將神經網絡權值矩陣轉換；

其中，每一個子矩陣W_ij^c都是一個循環矩陣，其中i∈[1,p],j∈[1,q]，根據循環矩陣的特點，矩陣W_ij^c中的每一行都可以由第一行的循環移位來形成。

3.根據權利要求1所述的基于塊循環稀疏矩陣神經網絡的編碼方法，其特征在于所述步驟2)中根據式(4)將全連接層中的矩陣向量乘變換成小塊的循環矩陣向量乘運算，輸出結果將被劃分為多個子向量yⁱ，其中i∈[1,p]

4.根據權利要求1所述的基于塊循環稀疏矩陣神經網絡的編碼方法，其特征在于所述步驟4)中對于任意一個初始權值矩陣，壓縮率L由公式(5)進行計算，

其中，s代表權值矩陣的稀疏度，b代表每個權值的數據位寬。

5.采用如權利要求1-4任一項所述的基于塊循環稀疏矩陣神經網絡的編碼方法的解碼方法，其特征在于包括如下步驟：

步驟A)處理器讀取一個子塊的權值矩陣W_ij和激勵向量v_ij對應的掩模初始向量和激勵掩模向量將初始掩模向量循環展開成掩模矩陣

步驟B)通過將掩模矩陣和激勵的掩模向量進行按行相與操作，得到中間掩模矩陣R^bq；

步驟C)根據中間掩模矩陣R^bq計算出相應的非零元素值，同時取出激勵中相應的非零元素值，傳輸至運算單元中進行計算；

步驟D)運算單元進行計算后將結果緩存到寄存器中，至此處理器根據提出的塊循環矩陣完成快速的解碼操作。

6.根據權利要求5所述的解碼方法，其特征在于，R^bq是一個由0和1組成的矩陣，1的位置代表了和中共同非零元素的位置，若向量值全部為0，則不需要對該子塊進行計算，若存在1，則計算出1在向量中的位置。

7.根據權利要求5所述的解碼方法，其特征在于，中間掩模矩陣R^bq中每一行中1的位置所代表的元素通過初始行向量中非零元素的位置根據循環規律得出。

8.根據權利要求5所述的解碼方法，其特征在于，激勵掩模向量中1的位置所代表的元素直接從存儲器中的非零值向量V^u中取出。