[發(fā)明專利]一種CNN推理加速系統(tǒng)、加速方法及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011519581.1
• 申請日: 2020-12-21
• 公開（公告）號: CN112667289B
• 公開（公告）日: 2023-01-10
• 發(fā)明（設(shè)計）人: 楊繼林
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/063;G06N5/04
• 代理公司: 北京權(quán)智天下知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11638
• 代理人: 王新愛

1.一種CNN推理加速系統(tǒng)，其特征在于，包括：指令操作模塊、數(shù)據(jù)存儲模塊、IMC指令模塊、向量指令模塊和向量寄存器模塊；

所述指令操作模塊存儲指令，并將指令進行譯碼解析，將解析后的所述指令發(fā)送至所述IMC指令模塊和所述向量指令模塊；

所述數(shù)據(jù)存儲模塊存儲系統(tǒng)數(shù)據(jù)；

所述IMC指令模塊接收所述指令操作模塊發(fā)送的解析后的所述指令，并執(zhí)行圖像預處理、激活處理和池化處理；

所述向量指令模塊接收所述指令操作模塊發(fā)送的解析后的所述指令，并執(zhí)行向量指令，將所述向量指令的執(zhí)行結(jié)果寫入所述向量寄存器模塊中；

所述向量寄存器模塊存儲所述執(zhí)行向量指令的結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種CNN推理加速系統(tǒng)，其特征在于：所述指令操作模塊包括指令存儲模塊、取指令模塊、譯碼模塊和指令派遣模塊；

所述指令存儲模塊存儲所述指令；所述取指令模塊從所述指令存儲模塊中讀取所述指令，并發(fā)送給所述譯碼模塊；所述譯碼模塊接收所述取指令模塊發(fā)送的所述指令，并將所述指令解析；所述指令派遣模塊將解析后的所述指令發(fā)送至所述IMC指令模塊和所述向量指令模塊；

所述取指令模塊包括地址生成模塊和接口協(xié)議轉(zhuǎn)換模塊；所述地址生成模塊生成所述指令的訪問地址；所述接口協(xié)議轉(zhuǎn)換模塊將地址生成模塊中接口進行轉(zhuǎn)換并通過轉(zhuǎn)換后的所述接口連接所述指令存儲模塊。

3.根據(jù)權(quán)利要求2所述的一種CNN推理加速系統(tǒng)，其特征在于：所述向量指令模塊包括向量指令執(zhí)行模塊和向量指令回寫模塊；

所述向量指令執(zhí)行模塊執(zhí)行所述指令派遣模塊發(fā)送的解析后的所述指令；所述向量指令回寫模塊將所述向量指令執(zhí)行模塊執(zhí)行所述指令的結(jié)果寫入所述向量寄存器模塊中。

4.根據(jù)權(quán)利要求3所述的一種CNN推理加速系統(tǒng)，其特征在于：所述向量指令執(zhí)行模塊包括裝載存儲模塊和向量乘累加模塊；

所述裝載存儲模塊執(zhí)行向量裝載指令和向量存儲指令；

所述向量乘累加模塊中設(shè)有乘累加器，用于執(zhí)行向量乘累加指令。

5.用于權(quán)利要求4所述的一種CNN推理加速系統(tǒng)的加速方法，其特征在于，包括以下步驟：所述取指令模塊讀取所述指令存儲模塊中存儲的指令，并通過所述取指令模塊中所述地址生成模塊生成所述指令的訪問地址，以及將所述指令發(fā)送給所述譯碼模塊；

所述譯碼模塊接收指令后，將所述指令進行解析，解析出的信息包括指令的類型、指令的操作數(shù)和控制指令執(zhí)行的信息，并將解析后的信息發(fā)送至所述指令派遣模塊；

所述指令派遣模塊接收解析后的所述信息后，讀取所述向量指令模塊中狀態(tài)，根據(jù)所述狀態(tài)控制取指令與分發(fā)指令，并將指令分發(fā)至所述IMC指令模塊和所述向量指令模塊；

所述IMC指令模塊執(zhí)行圖像預處理、激活處理和池化處理；所述向量指令模塊執(zhí)行分發(fā)的所述指令，并將執(zhí)行的結(jié)果寫入所述向量寄存器模塊中。

6.根據(jù)權(quán)利要求5所述的一種CNN推理加速系統(tǒng)的加速方法，其特征在于：所述通過所述取指令模塊中所述地址生成模塊生成所述指令的訪問地址包括以下步驟：

判斷是否為首次取指令，若是，則將取指令的地址設(shè)為起始地址；

若不是，則判斷所述取指令模塊取出的所述指令是否失效，若失效，則所述向量指令執(zhí)行模塊發(fā)送標志信號，所述標志信號中包含重新取指令的地址，根據(jù)重新取指令的地址，重新取指令；

若未失效，則判斷取出的所述指令是否為分支跳轉(zhuǎn)指令，若為所述分支跳轉(zhuǎn)指令，則計算所述分支跳轉(zhuǎn)指令中的參數(shù)；

若不為所述分支跳轉(zhuǎn)指令，則判斷所述指令的位寬是否小于所述指令存儲模塊的位寬，若小于所述指令存儲模塊的所述位寬，則根據(jù)所述位寬判斷取出的所述指令的數(shù)量，并根據(jù)所述指令的數(shù)量判斷是否包含下一條取出的指令，若不小于所述指令存儲模塊的位寬，則計算下一條取出的指令的地址。