[發(fā)明專利]一種支持自適應并行計算的神經(jīng)網(wǎng)絡處理電路

有效

• 申請?zhí)枺?/td>: 202010794982.1
• 申請日: 2020-08-10
• 公開（公告）號: CN111738432B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設計）人: 周軍;賈叢含;闕祿穎;甘家彥
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄧黎

1.一種支持自適應并行計算的神經(jīng)網(wǎng)絡處理電路，其特征在于，該處理電路包含指令控制器、交互單元、特征圖控制器、特征圖存儲單元、特征圖緩存單元、權重控制器、權重存儲單元、權重緩存單元、處理單元陣列；

所述指令控制器用于接收外部輸入命令，以及控制特征圖控制器、權重控制器和處理單元陣列；指令控制器中設置有并行模式判決器，并行模式判決器根據(jù)當前層的特征圖結構和權重結構，計算行并行模式、輸入通道并行模式、混合并行模式三種并行模式完成當前層運算各需要的操作周期數(shù)，選取最少操作周期數(shù)的并行模式作為當前層的并行模式，若出現(xiàn)兩種及兩種以上并行模式的操作周期數(shù)同時為最少時，優(yōu)先選取行并行模式，輸入通道并行模式次之；然后指令控制器將相應的并行模式指令分別發(fā)送給特征圖控制器、權重控制器和處理單元陣列；

所述交互單元與特征圖存儲單元、權重存儲單元相連，交互單元用于與外部進行數(shù)據(jù)交互；

所述特征圖存儲單元用于存儲交互單元傳輸?shù)奶卣鲌D數(shù)據(jù)；所述權重存儲單元用于存儲交互單元傳輸?shù)臋嘀財?shù)據(jù)；

所述特征圖控制器用于接收指令控制器發(fā)送的并行模式指令，根據(jù)并行模式指令將特征圖存儲單元中的特征圖數(shù)據(jù)整形后，存放到特征圖緩存單元中；

所述權重控制器用于接收指令控制器發(fā)送的并行模式指令，根據(jù)并行模式指令將權重存儲單元中的權重數(shù)據(jù)整形后，存放到權重緩存單元中；

所述處理單元陣列用于接收指令控制器發(fā)送的并行模式指令，根據(jù)并行模式指令將特征圖緩存單元和權重緩存單元中的緩存數(shù)據(jù)進行計算，然后將計算結果存入特征圖存儲單元；

所述處理單元陣列包括S個乘法器，S個乘法器按每組N′個分為M′組；

所述特征圖結構包括特征圖的行數(shù)H_f，特征圖的列數(shù)W_f，特征圖的通道數(shù)C_f，令表示特征圖第k通道、i行、j列的特征圖數(shù)據(jù)，其中，1≤k≤C_f，1≤i≤H_f，1≤j≤W_f；所述權重結構包括權重的行數(shù)H_w，權重的列數(shù)W_w，權重中單個卷積核的通道數(shù)，作為輸入通道數(shù)C_w，權重中卷積核的個數(shù)U_w，作為輸出通道數(shù)，令表示權重第k′輸入通道、r′輸出通道、i′行、j′列的權重數(shù)據(jù)，其中1≤k′≤C_w，1≤r′≤U_w，1≤i′≤H_w，1≤j′≤W_w；

所述行并行模式的計算過程為：

A1.取出前M個卷積核中，第一個輸入通道的第一行第一列數(shù)據(jù)，共取出了M個權重數(shù)據(jù)；若權重中卷積核的個數(shù)U_w≤M′，則令M＝U_w；若權重中卷積核的個數(shù)U_w＞M′，則令M＝M′；

A2.取出特征圖中第一個通道中第1行～第N行的第1列特征圖數(shù)據(jù)，共取出了N個特征圖數(shù)據(jù)；若特征圖的行數(shù)H_f≤N′+H_w-1，則令N＝H_f-H_W+1；若特征圖的行數(shù)H_f＞N′+H_w-1，則令N＝N′；

A3.將M個權重數(shù)據(jù)和N個特征圖數(shù)據(jù)分別做乘法；

A4.令權重數(shù)據(jù)保持不變，特征圖數(shù)據(jù)向右滑動，改為取第1行～第N行的下一列特征圖數(shù)據(jù)；返回步驟A3，直到完成第1行～第N行前P列的特征圖數(shù)據(jù)的計算，其中P＝W_f-W_w+1；此時，若當前權重數(shù)據(jù)是最后一行最后一列，則跳到步驟A6；若當前權重數(shù)據(jù)不是最后一行最后一列，則進行下一步；

A5.按照從左至右的順序逐行切換權重數(shù)據(jù)，將前M個卷積核中第一個輸入通道的第i′行第j′列的權重數(shù)據(jù)看作第一個輸入通道的第一行第一列的權重數(shù)據(jù)，將特征圖第一個通道的第i行第j列的特征圖數(shù)據(jù)看作第一行第一列的特征圖數(shù)據(jù)，其中i＝i′，j＝j′，然后返回步驟A2；

A6.若當前特征圖的行數(shù)H_f＞N′+H_w-1，則將當前特征圖第N′+1行至最后一行看作新的特征圖，得到新的特征圖行數(shù)H_f，且返回步驟A1；若當前特征圖的行數(shù)H_f≤N′+H_w-1，則第一個通道的特征圖數(shù)據(jù)全部計算完成，進行下一步；

A7.若當前特征圖通道數(shù)C_f＝1，則跳到步驟A8；若當前特征圖通道數(shù)C_f＞1，則特征圖向后切換到下一個通道，并將當前特征圖通道至最后一個特征圖通道看作新的特征圖，得到新的特征圖通道數(shù)C_f，權重也向后切換一個輸入通道，將當前權重輸入通道至最后一個輸入通道看作新的權重，得到新的權重輸入通道數(shù)C_w，返回步驟A1；

A8.若當前卷積核個數(shù)U_w≤M′，則計算結束；若當前卷積核個數(shù)U_w＞M′，則將當前第M′+1個卷積核至最后一個卷積核看作新的卷積核，得到新的卷積核個數(shù)U_w，且C_w、C_f恢復為原始值，返回步驟A1；

所述輸入通道并行模式的計算過程為：

B1.取出前M個卷積核中，前N個輸入通道的第一行第一列權重數(shù)據(jù)，共取出了M組權重數(shù)據(jù)，每組包含N個權重數(shù)據(jù)；若權重的輸入通道數(shù)C_w≤N′，則令N＝C_w；若權重的輸入通道數(shù)C_w＞N′，則令N＝N′；若權重中卷積核的個數(shù)U_w≤M′，則令M＝U_w；若權重中卷積核的個數(shù)U_w＞M′，則令M＝M′；

B2.取出特征圖中前N個通道的第一行第一列特征圖數(shù)據(jù)共取出了N個特征圖數(shù)據(jù)；若特征圖的通道數(shù)C_f≤N′，則令N＝C_f；若特征圖的通道數(shù)C_f＞N′，則令N＝N′；

B3.將取出的M組權重數(shù)據(jù)依次和N個特征圖數(shù)據(jù)做乘法；

B4.令權重數(shù)據(jù)保持不變，按照從左至右的順序逐行切換特征圖數(shù)據(jù)，返回步驟B3，直到完成前N個通道的前Q行前P列特征圖數(shù)據(jù)的計算，其中P＝W_f-W_w+1，Q＝H_f-H_w+1；此時，若當前權重數(shù)據(jù)是最后一行最后一列，則跳到步驟B6；若當前權重數(shù)據(jù)不是最后一行最后一列，則進行下一步；

B5.按照從左至右的順序逐行切換權重數(shù)據(jù)，將前M個卷積核中前N個輸入通道的第i′行第j′列的權重數(shù)據(jù)看作前N個輸入通道的第一行第一列的權重數(shù)據(jù)，將特征圖前N個通道的第i行第j列的特征圖數(shù)據(jù)看作第一行第一列的特征圖數(shù)據(jù)，其中i＝i′，j＝j′，然后返回步驟B2；

B6.若當前特征圖通道數(shù)C_f≤N′，則前M個卷積核的所有權重數(shù)據(jù)已完成計算，進行下一步；若當前特征圖通道數(shù)C_f＞N′，則將當前特征圖第N+1個通道至最后一個特征圖通道看作新的特征圖，得到新的特征圖通道數(shù)C_f，將權重前M個卷積核的第N+1個輸入通道至最后一個輸入通道看作新的權重，得到新的權重輸入通道數(shù)C_w，返回步驟B1；

B7.若當前卷積核個數(shù)U_w≤M′，則計算結束；若當前卷積核個數(shù)U_w＞M′，則將第M′+1個卷積核至最后一個卷積核看作新的權重，得到新的權重卷積核個數(shù)U_w，且C_w、C_f恢復為原始值，返回步驟B1；

所述混合并行模式的計算過程為：

C1.將特征圖拆分為A、B兩部分，其中A部分中特征圖的行數(shù)為N′+H_W-1，B部分中特征圖的行數(shù)為H_f-N′；

C2.使用行并行模式計算A部分；

C3.若B部分中特征圖的行數(shù)大于N′+H_W-1，則把B部分特征圖看作新的特征圖，得到新的特征圖行數(shù)H_f，返回步驟C1；若B部分中特征圖的行數(shù)等于N′+H_W-1，則使用行并行模式計算B部分；若B部分中特征圖的行數(shù)小于N′+H_W-1，則使用通道并行模式計算B部分；完成全部特征圖數(shù)據(jù)的計算，計算結束。