[發(fā)明專利]一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202110562786.6
• 申請日: 2021-05-24
• 公開（公告）號: CN113313252B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計）人: 陸生禮;張廣明;張娟;龐偉
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06F7/50
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 陳國強(qiáng)

1.一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，包括數(shù)據(jù)預(yù)取模塊和脈動陣列，所述脈動陣列包括若干個水平方向和垂直方向上排布的PE單元，所述PE單元對于其輸入數(shù)據(jù)、部分和數(shù)據(jù)具有不同的處理方式；PE單元對于數(shù)據(jù)A，每個周期更新一次或者將數(shù)據(jù)A固定在PE單元內(nèi)部的寄存器中重復(fù)使用；PE單元對于數(shù)據(jù)B，每個周期更新一次，并將上一周期的數(shù)據(jù)B傳輸給相鄰的PE單元；對于部分和數(shù)據(jù)每個周期輸出一次或?qū)⒉糠趾驮赑E單元內(nèi)部累加，并保存在PE單元內(nèi)部，在特定的周期輸出；脈動陣列水平方向上相鄰的PE單元之間相互連接，垂直方向上每個PE單元有各自的數(shù)據(jù)輸入端口和數(shù)據(jù)輸出端口；脈動陣列在計算不同的卷積時，水平方向和垂直方向傳輸?shù)臄?shù)據(jù)是不同的，計算標(biāo)準(zhǔn)卷積和點(diǎn)卷積時，水平方向傳輸?shù)氖翘卣鲌D數(shù)據(jù)，垂直方向傳輸?shù)氖菣?quán)重參數(shù)；計算深度卷積時，水平方向傳輸?shù)氖菣?quán)重參數(shù)，垂直方向傳輸?shù)氖翘卣鲌D數(shù)據(jù)；所述數(shù)據(jù)預(yù)取模塊根據(jù)脈動陣列執(zhí)行不同的卷積計算時對特征圖數(shù)據(jù)和權(quán)重參數(shù)的需求，為脈動陣列提供特征圖數(shù)據(jù)和權(quán)重參數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，所述PE單元包括乘法器、加法器、寄存器和數(shù)據(jù)選擇器，所述寄存器為3個，分別為寄存器I、寄存器II和寄存器Ⅲ，所述數(shù)據(jù)選擇器為4個，分別為數(shù)據(jù)選擇器I、數(shù)據(jù)選擇器II、數(shù)據(jù)選擇器Ⅲ和數(shù)據(jù)選擇器Ⅳ，

輸入數(shù)據(jù)A不需要被重用時，輸入數(shù)據(jù)A直接經(jīng)過數(shù)據(jù)選擇器Ⅱ傳入乘法器，然后和輸入數(shù)據(jù)B相乘，

輸入數(shù)據(jù)A需要被重用時，在第一個時鐘周期，輸入數(shù)據(jù)A經(jīng)過數(shù)據(jù)選擇器Ⅱ傳入乘法器，同時，輸入數(shù)據(jù)A經(jīng)過數(shù)據(jù)選擇器Ⅰ寄存在寄存器Ⅰ中，之后每個周期數(shù)據(jù)選擇器Ⅱ選擇寄存器Ⅰ的輸出數(shù)據(jù)作為乘法器的輸入，寄存器Ⅰ通過數(shù)據(jù)選擇器Ⅰ將寄存器Ⅰ的輸出作為寄存器Ⅰ的輸入，實(shí)現(xiàn)將輸入數(shù)據(jù)A一直寄存在寄存器Ⅰ中，實(shí)現(xiàn)輸入數(shù)據(jù)A的重用；

輸入數(shù)據(jù)B直接作為乘法器的另一個輸入與輸入數(shù)據(jù)A相乘，同時，輸入數(shù)據(jù)B寄存在寄存器Ⅱ中，在下一個時鐘周期從寄存器Ⅱ中輸出，作為相鄰PE單元的輸入數(shù)據(jù)；

輸出不需要在PE內(nèi)部累加時，數(shù)據(jù)選擇器Ⅳ選擇乘法器的輸出作為寄存器Ⅲ的輸入，然后在下一個時鐘周期將寄存器Ⅲ中的數(shù)據(jù)輸出，

輸出需要在PE內(nèi)部累加時，數(shù)據(jù)選擇器Ⅲ選擇數(shù)據(jù)0與乘法器的輸出在加法器中進(jìn)行第一次相加，數(shù)據(jù)選擇器Ⅳ選擇加法器的輸出作為寄存器Ⅲ的輸入，在之后的累加過程中，數(shù)據(jù)選擇器Ⅲ選擇寄存器Ⅲ的輸出與乘法器的輸出在加法器中相加，在特定的時鐘周期，將寄存器Ⅲ中的數(shù)據(jù)輸出。

3.根據(jù)權(quán)利要求1所述的一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，所述脈動陣列在執(zhí)行點(diǎn)卷積計算時，特征圖數(shù)據(jù)在陣列的水平方向的PE單元之間脈動傳輸，權(quán)重參數(shù)在陣列的垂直方向并行進(jìn)入每一列PE單元，陣列中的每一列PE單元并行輸出計算的部分和，部分和通過加法樹進(jìn)行累加。

4.根據(jù)權(quán)利要求1所述的一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，所述脈動陣列在執(zhí)行標(biāo)準(zhǔn)卷積計算時，將標(biāo)準(zhǔn)卷積3*3的卷積核分成9組1*1的卷積核，對于每一組1*1卷積核，執(zhí)行與點(diǎn)卷積相同的計算數(shù)據(jù)流；與點(diǎn)卷積不同的是，9組1*1卷積核中不同組的1*1卷積核對應(yīng)的輸入特征點(diǎn)的位置是不全相同的；最終9組1*1卷積核計算出的9組部分和再進(jìn)行累加即可得到最終的輸出。

5.根據(jù)權(quán)利要求1所述的一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，所述脈動陣列在執(zhí)行深度卷積計算時，權(quán)重參數(shù)在陣列的水平方向的PE單元之間脈動傳輸，不同卷積窗口的特征圖數(shù)據(jù)在陣列的垂直方向并行進(jìn)入每一列PE單元，陣列中的每一列PE單元需要9個周期計算完一個卷積窗口，在計算期間，部分和在PE單元內(nèi)部累加；一個卷積窗口計算完成之后，并行輸出計算的結(jié)果。

6.根據(jù)權(quán)利要求1所述的一種基于脈動陣列的深度可分離卷積實(shí)現(xiàn)方法，其特征在于，所述脈動陣列在執(zhí)行不同類型的卷積時，其不同方向上具有不同的數(shù)據(jù)重用方式。