[發(fā)明專(zhuān)利]圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010383601.0
• 申請(qǐng)日: 2020-05-08
• 公開(kāi)（公告）號(hào): CN111582451B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 陳松;劉百成;康一
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/063
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，包括：依次設(shè)置的M1層、M2層、M3層、M4層及M5層五個(gè)計(jì)算層，并構(gòu)成層間流水線，其中：

M1層、M2層及M3層各自包含兩個(gè)卷積層的計(jì)算，層內(nèi)各自構(gòu)成二級(jí)流水線，各層末端還有最大值池化層完成池化計(jì)算；M4層與M5層各自包含1個(gè)與兩個(gè)全連接層的計(jì)算；每一卷積層及每一全連接層內(nèi)都設(shè)有連接全局控制器的控制單元，以及用于存儲(chǔ)權(quán)重參數(shù)和二值編碼參數(shù)的存儲(chǔ)器；

其中，所述M1層中的第一個(gè)卷積層C1首先進(jìn)行計(jì)算，當(dāng)部分結(jié)果計(jì)算完成后，M1層中的第一個(gè)卷積層C1和第二個(gè)卷積層C2同時(shí)進(jìn)行計(jì)算；M1層計(jì)算結(jié)果完成共需N時(shí)鐘周期，則M1層在第一個(gè)N時(shí)鐘周期內(nèi)開(kāi)展計(jì)算，第二個(gè)N時(shí)鐘周期M1層和M2層同時(shí)工作，依次類(lèi)推，第五個(gè)N時(shí)鐘周期M1層、M2層、M3層、M4層及M5層同時(shí)工作，從而構(gòu)成五級(jí)流水線。

2.根據(jù)權(quán)利要求1所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，所述M1層、M2層及M3層的每一卷積層內(nèi)都設(shè)有多個(gè)處理單元，輸入接控制單元與存儲(chǔ)權(quán)重參數(shù)和二值編碼參數(shù)的存儲(chǔ)器；處理單元包含三個(gè)部分，第一個(gè)部分是輸入緩沖部分，第二個(gè)部分為若干卷積計(jì)算部分，第三個(gè)部分為加法樹(shù)單元，用來(lái)累加第二個(gè)部分輸出的結(jié)果。

3.根據(jù)權(quán)利要求1或2所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，所述M1層中的第一個(gè)卷積層C1的輸入是浮點(diǎn)數(shù)據(jù)，M1層中的第二個(gè)卷積層C2，輸入的是第一個(gè)卷積層C1輸出的二值化數(shù)據(jù)；同樣的，M2層及M3層中卷積層的輸入均為二值化數(shù)據(jù)；

所述M1層中的第一個(gè)卷積層C1，與M1層中的第二個(gè)卷積層C2以及M2層和M3層的卷積層中，處理單元內(nèi)卷積計(jì)算部分的結(jié)構(gòu)不同。

4.根據(jù)權(quán)利要求3所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，

所述第一個(gè)卷積層C1中通過(guò)一個(gè)選通單元控制輸入數(shù)據(jù)，然后存放在寄存器中，再完成后續(xù)累加步驟，公式為：

其中，in是輸入值，為浮點(diǎn)數(shù)據(jù)，w是權(quán)重，是二值化數(shù)據(jù)，y是完成一個(gè)像素點(diǎn)卷積的結(jié)果。

5.根據(jù)權(quán)利要求4所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，M1層中的第二個(gè)卷積層C2以及M2層及M3層中卷積層輸入為二值化數(shù)據(jù)，則表明輸入和權(quán)重都是二值化的，使用同或累加運(yùn)算，再通過(guò)下式進(jìn)行結(jié)果轉(zhuǎn)化得到最終的卷積結(jié)果：

y′＝2×y_xnor-L_conv

其中，y_xnor是同或累加的結(jié)果，L_conv是卷積核大小，y′為最終的卷積結(jié)果。

6.根據(jù)權(quán)利要求1所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，M1層、M2層及M3層的卷積層以及M4層中的全連接層的末端都設(shè)有乒乓緩存單元，用來(lái)存儲(chǔ)相應(yīng)層的計(jì)算結(jié)果。

7.根據(jù)權(quán)利要求1所述的一種圖像識(shí)別層間并行流水線型二值化卷積神經(jīng)網(wǎng)絡(luò)陣列架構(gòu)，其特征在于，M1層、M2層及M3層的每一卷積層、M4層中的全連接層以及M5層的第一個(gè)全連接層的輸出都進(jìn)行批歸一化操作，公式為：

Y＝k_i⊙(x≥h_f)

上式中，k_i表示k_f的符號(hào)，整數(shù)則為1，負(fù)數(shù)則為0，k_f為浮點(diǎn)數(shù)，⊙是同或運(yùn)算符。