[發(fā)明專利]一種神經網絡壓縮方法、電子設備及計算機可讀介質

在審

• 申請?zhí)枺?/td>: 201811585964.1
• 申請日: 2018-12-20
• 公開（公告）號: CN111353598A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種神經網絡壓縮方法，其特征在于，包括：

獲取第一輸入數據；其中，所述第一輸入數據包括第一權值矩陣；

將所述第一權值矩陣壓縮為第二權值矩陣；其中，第二權值矩陣中包括至少兩個子矩陣；

根據第二輸入數據執(zhí)行神經網絡計算，其中，所述第二輸入數據包括所述第二權值矩陣以及輸入神經元數據。

2.根據權利要求1所述的方法，其特征在于，所述將所述第一權值矩陣壓縮為第二權值矩陣，包括：

將所述第一權值矩陣分解成第三權值矩陣；其中，所述第三權值矩陣包括至少兩個子矩陣；

根據第一公式確定所述至少兩個子矩陣中的每個子矩陣的大小，所述第一公式為Q≈Q₁*Q₂*......*Q_n；其中，所述Q表示第一權值矩陣；所述Q₁表示所述至少兩個子矩陣中的第一子矩陣；所述Q₂表示所述至少兩個子矩陣中的第二子矩陣；所述Q_n表示所述至少兩個子矩陣中的第n子矩陣；

調整所述至少兩個子矩陣中的每個子矩陣的大小，并通過訓練壓縮后的機器學習模型，以得到滿足預設精度的第二權值矩陣。

3.根據權利要求2所述的方法，其特征在于，所述根據第一公式確定所述至少兩個子矩陣中的每個子矩陣的大小，所述第一公式為Q≈Q₁*Q₂*......*Q_n，包括：

根據所述第一公式和第二公式確定所述至少兩個子矩陣中的每個子矩陣的大小，所述第二公式為||Q-Q₁*Q₂*......*Q_n||≤T，其中，所述T表示預設的誤差閾值。

4.根據權利要求2或3所述的方法，其特征在于，所述調整所述至少兩個子矩陣中的每個子矩陣的大小，并通過訓練壓縮后的機器學習模型，以得到滿足預設精度的第二權值矩陣，包括：

調整所述至少兩個子矩陣中的每個子矩陣的大小，并通過訓練壓縮后的機器學習模型，以得到滿足預設精度并且與所述第一權值矩陣之間的壓縮比滿足預設壓縮比的第二權值矩陣。

5.根據權利要求2-4任一項所述的方法，其特征在于，所述神經網絡為全連接層神經網絡；所述至少兩個子矩陣包括兩個子矩陣；所述第一公式包括：M≈M₁*M₂；所述兩個子矩陣包括第一子矩陣M1和第二子矩陣M2，所述M1為N_in*K矩陣，所述M2為K*N_out矩陣；其中，K為壓縮參數，N_in為所述神經網絡的輸入神經元的個數，N_out為所述神經網絡的輸出神經元的個數；所述壓縮參數用于表征所述M1的輸出神經元的個數以及所述M2的輸入神經元的個數，所述K為大于0且小于等于min(N_in，N_out)的正整數。

6.根據權利要求2-4任一項所述的方法，其特征在于，所述神經網絡為卷積層神經網絡；所述卷積層神經網絡包括N_fin*N_fout個卷積核；所述第一公式包括：F≈F₁*F₂；其中，F表示所述N_fin*N_fout個卷積核中的任意一個卷積核；所述F1為第一子卷積核；所述F2為第二子卷積核；所述第一子卷積核F1為(K_x，R)，所述第二子卷積核F2為(R，K_y)，(K_x，K_y)表示卷積核的大小，R為壓縮參數，所述R為大于0且小于等于min(K_x，K_y)的正整數。