[發(fā)明專利]全連接層壓縮方法、裝置、電子設備、加速器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010747612.2
• 申請日: 2020-07-29
• 公開（公告）號: CN114065899A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設計）人: 屈心媛;黃志洪;蔡剛;方震
• 申請（專利權）人: 中科億海微電子科技（蘇州）有限公司;中國科學院空天信息創(chuàng)新研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/16;G06F7/523
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

1.一種全連接層壓縮方法，其特征在于，包括：

將全連接層中的各層劃分為交替的第一層和第二層；

將一組所述第一層和第二層壓縮為一層綁定層；

其中，所述第一層與所述第二層之間不存在乒乓存儲。

2.根據(jù)權利要求1所述的全連接層壓縮方法，其特征在于，所述第一層中的第一輸入矩陣和第一權值矩陣按照第一方式進行矩陣乘運算；

所述第一方式為基于所述第一輸出矩陣中的輸出數(shù)據(jù)，獲取所述第一輸入矩陣的輸入數(shù)據(jù)和所述第一權值矩陣中的權值數(shù)據(jù)進行矩陣乘運算。

3.根據(jù)權利要求1所述的全連接層壓縮方法，其特征在于，所述第二層中的第二輸入矩陣和第二權值矩陣按照第二方式進行矩陣乘運算；

所述第二方式為基于所述第二輸入矩陣中的輸入數(shù)據(jù)，獲取所述第二權值矩陣中與所述輸入數(shù)據(jù)相關的權值數(shù)據(jù)分別進行乘運算。

4.根據(jù)權利要求1或2所述的全連接層壓縮方法，其特征在于，所述第一層中的第一輸入矩陣和第一權值矩陣按照第一方式進行矩陣乘運算包括：

每次根據(jù)第一輸出矩陣中一列輸出數(shù)據(jù)，獲取所述第一輸入矩陣和第一權值矩陣中與所述一列輸出數(shù)據(jù)相關的數(shù)據(jù)；

對所述數(shù)據(jù)進行矩陣乘運算，得到所述一列輸出數(shù)據(jù)。

5.根據(jù)權利要求1或3所述的全連接層壓縮方法，其特征在于，所述第二層中的第二輸入矩陣和第二權值矩陣按照第二方式進行矩陣乘運算包括：

每次根據(jù)所述第二輸入矩陣中的一列輸入數(shù)據(jù)，獲取所述第二權值矩陣中需與所述一列輸入數(shù)據(jù)進行運算的所有權值數(shù)據(jù)；

將所述一列輸入數(shù)據(jù)分別與每個所述權值數(shù)據(jù)相乘，得到第二輸出矩陣中輸出數(shù)據(jù)的部分數(shù)據(jù)；

將所述第二輸出矩陣中每個輸出數(shù)據(jù)對應的所有部分數(shù)據(jù)相加，得到所述第二輸出矩陣中的每個輸出數(shù)據(jù)。

6.根據(jù)權利要求1所述的全連接層壓縮方法，其特征在于，完成所述第一層中的每個第一輸出矩陣中單列數(shù)據(jù)所需要的矩陣乘運算的時間與所述第二層中的每個第二輸入矩陣中單列數(shù)據(jù)完成所需參與的矩陣乘運算的時間一致。

7.一種全連接層壓縮裝置，其特征在于，包括：

劃分模塊，用于將全連接層中的各層劃分為交替的第一層和第二層；

壓縮模塊，用于將一組所述第一層和第二層壓縮為一層綁定層；

其中，所述第一層與所述第二層之間不存在乒乓存儲。

8.一種基于FPGA的CNN加速器，其特征在于，包括如權利要求8所述的全連接層壓縮裝置。

9.一種電子設備，包括：存儲器，處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時，實現(xiàn)權利要求1至6中的任一項所述的全連接層壓縮方法中的各個步驟。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時，實現(xiàn)權利要求1至6中的任一項所述的全連接層壓縮方法中的各個步驟。