[發(fā)明專利]全連接層壓縮方法、裝置、電子設(shè)備、加速器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010747612.2
• 申請日: 2020-07-29
• 公開（公告）號: CN114065899A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 屈心媛;黃志洪;蔡剛;方震
• 申請（專利權(quán)）人: 中科億海微電子科技（蘇州）有限公司;中國科學(xué)院空天信息創(chuàng)新研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/16;G06F7/523
• 代理公司: 中科專利商標代理有限責(zé)任公司 11021
• 代理人: 周天宇

本申請公開了一種全連接層壓縮方法、裝置、加速器、電子設(shè)備及存儲介質(zhì)，應(yīng)用于神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，包括：將全連接層中的各層劃分為交替的第一層和第二層，將一組第一層和第二層壓縮為一層綁定層，其中，第一層與第二層之間不存在乒乓存儲。將相鄰兩層壓縮為一層綁定層，這樣可以有效地降低中間結(jié)果存儲開銷。此外，由于全連接層被壓縮，全連接層流水級數(shù)也變?yōu)閴嚎s前的一半，從而大大縮短了輸出延時，提高了加速器的識別實時性。

技術(shù)領(lǐng)域

本申請涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種全連接層壓縮方法、裝置、加速器、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)(CNN，Convolutional Neural Networks)是深度學(xué)習(xí)的代表算法之一。因其在人工智能領(lǐng)域的卓越性能，CNN被廣泛關(guān)注并應(yīng)用于圖像分類、語音識別、人臉識別、自動駕駛以及醫(yī)學(xué)成像等高科技應(yīng)用中。目前已涌現(xiàn)出AlexNet、VGG、ResNet等優(yōu)秀的CNN結(jié)構(gòu)。隨著CNN的持續(xù)發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)日益復(fù)雜，參數(shù)數(shù)量爆炸增長，這對CNN硬件加速器的設(shè)計帶來挑戰(zhàn)。

批操作的全連接層結(jié)構(gòu)可以在保障計算資源計算效率不變的前提下，將帶寬壓力降低為1/NumB，但是批操作加劇了系統(tǒng)存儲開銷和延時壓力。批處理所需的全連接層中間結(jié)果數(shù)據(jù)是傳統(tǒng)全連接層的NumB倍，因此提高了全連接層存儲開銷，使之變?yōu)樵瓉淼腘umB倍。同時，批操作的數(shù)據(jù)準備時間Tbatch是普通流水時間Tpipe的NumB倍，因此批操作會顯著提高輸出延時(IRL，Input Response Latency)。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種全連接層壓縮方法、裝置、加速器、電子設(shè)備及存儲介質(zhì)，可有效地降低中間結(jié)果數(shù)據(jù)的存儲開銷，縮短了IRL，提高了加速器的識別實時性。

為實現(xiàn)上述目的，本申請實施例第一方面提供一種全連接層壓縮方法，包括：

將全連接層中的各層劃分為交替的第一層和第二層；

將一組所述第一層和第二層壓縮為一層綁定層；

其中，所述第一層與所述第二層之間不存在乒乓存儲。

可選的，所述第一層中的第一輸入矩陣和第一權(quán)值矩陣按照第一方式進行矩陣乘運算；

所述第一方式為基于所述第一輸出矩陣中的輸出數(shù)據(jù)，獲取所述第一輸入矩陣的輸入數(shù)據(jù)和所述第一權(quán)值矩陣中的權(quán)值數(shù)據(jù)進行矩陣乘運算。

可選的，所述第二層中的第二輸入矩陣和第二權(quán)值矩陣按照第二方式進行矩陣乘運算；

所述第二方式為基于所述第二輸入矩陣中的輸入數(shù)據(jù)，獲取所述第二權(quán)值矩陣中與所述輸入數(shù)據(jù)相關(guān)的權(quán)值數(shù)據(jù)分別進行乘運算。

可選的，所述第一層中的第一輸入矩陣和第一權(quán)值矩陣按照第一方式進行矩陣乘運算包括：

每次根據(jù)第一輸出矩陣中一列輸出數(shù)據(jù)，獲取所述第一輸入矩陣和第一權(quán)值矩陣中與所述一列輸出數(shù)據(jù)相關(guān)的數(shù)據(jù)；

對所述數(shù)據(jù)進行矩陣乘運算，得到所述一列輸出數(shù)據(jù)。

可選的，所述第二層中的第二輸入矩陣和第二權(quán)值矩陣按照第二方式進行矩陣乘運算包括：

每次根據(jù)所述第二輸入矩陣中的一列輸入數(shù)據(jù)，獲取所述第二權(quán)值矩陣中需與所述一列輸入數(shù)據(jù)進行運算的所有權(quán)值數(shù)據(jù)；

將所述一列輸入數(shù)據(jù)分別與每個所述權(quán)值數(shù)據(jù)相乘，得到第二輸出矩陣中輸出數(shù)據(jù)的部分數(shù)據(jù)；

將所述第二輸出矩陣中每個輸出數(shù)據(jù)對應(yīng)的所有部分數(shù)據(jù)相加，得到所述第二輸出矩陣中的每個輸出數(shù)據(jù)。

可選的，完成所述第一層中的每個第一輸出矩陣中單列數(shù)據(jù)所需要的矩陣乘運算的時間與所述第二層中的每個第二輸入矩陣中單列數(shù)據(jù)完成所需參與的矩陣乘運算的時間一致。