[發(fā)明專利]一種矩陣局部響應歸一化的向量化實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201810758431.2
• 申請日: 2018-07-11
• 公開（公告）號: CN109165734B
• 公開（公告）日: 2021-04-02
• 發(fā)明（設計）人: 陳書明;李斌;陳海燕;扈嘯;楊超;張軍陽;陳偉文
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;胡君

1.一種矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于，該方法包括接入輸入特征圖至向量處理器中并進行分塊轉(zhuǎn)置，以將卷積計算之后的多塊計算結(jié)果中各通道方向的數(shù)據(jù)點集中存于一列，對轉(zhuǎn)置后的矩陣使用各個向量處理單元VPE同時進行局部響應歸一化操作，各個向量處理單元VPE同時完成各輸出特征圖的計算且各個向量處理單元VPE計算的結(jié)果按列存儲；該方法步驟包括：

S1.根據(jù)向量處理器中向量處理單元VPE的數(shù)量p、卷積核的數(shù)量、輸入特征圖大小以及在由卷積后計算結(jié)果得到的輸入數(shù)據(jù)進行的卷積的權(quán)重組數(shù)n，確定向量處理單元VPE能夠計算的輸出特征圖的大小M×N；

S2.接入輸入特征圖至向量處理器中，并分別分配給各個所述向量處理單元VPE；

S3.各個所述向量處理單元VPE進行并行處理，每個所述向量處理單元VPE對卷積計算之后的多塊計算結(jié)果進行分塊轉(zhuǎn)置，得到N×M的轉(zhuǎn)置后矩陣；

S4.對所述轉(zhuǎn)置后矩陣按列進行局部響應歸一化計算，歸一化后結(jié)果按行進行存儲，輸出大小為M×N的歸一化后結(jié)果；

S5.重復執(zhí)行步驟S3-S4，直至并行完成p個輸出特征圖的計算。

2.根據(jù)權(quán)利要求1所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于，所述步驟S1的具體步驟為：當輸入特征圖大小為W*H*n，單核向量處理單元VPE一次的計算量為M*N*p時，n為p的整數(shù)倍，配置使得每個向量處理單元VPE能夠計算的輸出特征圖為M*N，且滿足M*N*p不超過核內(nèi)存儲容量，以及M和N分別能被W和H整除以能夠進行整數(shù)次操作。

3.根據(jù)權(quán)利要求1所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于：所述步驟S2中具體將輸入特征圖輸入向量處理器的核外DDR中，將輸入特征圖數(shù)據(jù)均勻分配給各向量處理單元VPE，且若存在不能均勻分配的多余數(shù)據(jù)時，將多余的數(shù)據(jù)再使用多個向量處理單元VPE進行處理。

4.根據(jù)權(quán)利要求1所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于：所述步驟S3中，具體根據(jù)輸入特征圖的存放位置對卷積計算之后的n/p塊計算結(jié)果進行分塊轉(zhuǎn)置，使最后N個通道方向的數(shù)據(jù)點存于一列。

5.根據(jù)權(quán)利要求1～4中任意一項所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于：所述步驟S4中具體對所述轉(zhuǎn)置后矩陣每次取一列，并按照從上到下的順序依次進行歸一化計算。

6.根據(jù)權(quán)利要求1～4中任意一項所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于，所述步驟S4中具體采用下式進行歸一化操作；

其中，k、n、α、β均為超參數(shù)，i表示第i個核在位置(x,y)運用激活函數(shù)ReLU后的輸出，N為通道數(shù)，a為卷積層的輸出結(jié)果且為一個四維[batch,height,width,channel]，batch為批次數(shù)，height為圖片高度，width為圖片寬度，channel為處理后的圖片深度。

7.根據(jù)權(quán)利要求1～4中任意一項所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于，所述步驟S4進行局部響應歸一化計算中，當計算相鄰幾個元素的平方時，具體當前次計算結(jié)果使用上一次計算結(jié)果減去上一次計算中首個元素的平方，再加上最后一個元素的平方得到。

8.根據(jù)權(quán)利要求1～4中任意一項所述的矩陣局部響應歸一化的向量化實現(xiàn)方法，其特征在于，所述輸入特征圖具體為池化或卷積計算后的結(jié)果。