[發(fā)明專利]一種可編程人工智能加速器執(zhí)行單元及人工智能加速方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210338859.8
• 申請(qǐng)日: 2022-04-01
• 公開(kāi)（公告）號(hào): CN114611711A
• 公開(kāi)（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 翁鑠雯
• 申請(qǐng)（專利權(quán)）人: 南京廣捷智能科技有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F9/302;G06F9/30
• 代理公司: 江蘇長(zhǎng)德知識(shí)產(chǎn)權(quán)代理有限公司 32478
• 代理人: 周藝

1.一種可編程人工智能加速器執(zhí)行單元，其特征在于，包括：

編碼模塊，用于獲取人工智能加速程序指令，并根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼；

解碼模塊，根據(jù)上述分類編碼的結(jié)果，對(duì)編碼后的所述人工智能加速程序指令進(jìn)行解碼，生成程序執(zhí)行需要的控制信息；

數(shù)據(jù)執(zhí)行分配模塊，根據(jù)所述分類編碼結(jié)果，將所述控制信息分配到不同的執(zhí)行模塊；

執(zhí)行模塊，根據(jù)所述控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果。

2.一種可編程人工智能加速器執(zhí)行單元，其特征在于，包括：

編碼模塊，用于獲取人工智能加速程序指令，并根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼；

解碼模塊，根據(jù)上述分類編碼的結(jié)果，對(duì)編碼后的所述人工智能加速程序指令進(jìn)行解碼，生成程序執(zhí)行需要的控制信息；

數(shù)據(jù)分割模塊，用于將所述控制信息根據(jù)運(yùn)行指令所需要算力的大小分割成若干個(gè)可以單獨(dú)運(yùn)行的子控制信息；

數(shù)據(jù)執(zhí)行分配模塊，根據(jù)所述分類編碼結(jié)果，將所述分割后的子控制信息分配到不同的執(zhí)行模塊；

執(zhí)行模塊，根據(jù)所述子控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果；

合成模塊，將所述輸出的執(zhí)行結(jié)果進(jìn)行合成運(yùn)算并輸出。

3.根據(jù)權(quán)利要求2所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述編碼模塊，獲取人工智能加速程序指令后，根據(jù)所述指令附帶的算力請(qǐng)求，確定所述算力請(qǐng)求的類型，基于所述算力請(qǐng)求與當(dāng)前的指令模型，確定算力參數(shù)，進(jìn)而確定當(dāng)前人工智能加速程序指令運(yùn)行所需的算力大小。

4.根據(jù)權(quán)利要求2所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述數(shù)據(jù)分割模塊將待計(jì)算控制信息的數(shù)據(jù)包分割成n個(gè)數(shù)據(jù)塊，并在每個(gè)數(shù)據(jù)塊內(nèi)寫入分類編碼。

5.根據(jù)權(quán)利要求4所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述數(shù)據(jù)分割模塊還生成包含分割信息的文件，并將包含分割信息的文件與n個(gè)數(shù)據(jù)塊中的一個(gè)數(shù)據(jù)塊綁定，數(shù)據(jù)分割模塊對(duì)包含分割信息的文件進(jìn)行標(biāo)記。

6.根據(jù)權(quán)利要求5所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述數(shù)據(jù)執(zhí)行分配模塊根據(jù)所述分類編碼結(jié)果，生成一索引表，索引表包括n個(gè)數(shù)據(jù)塊的分配地址，每個(gè)數(shù)據(jù)塊的分配地址為一個(gè)可支配寄存器的地址。

7.根據(jù)權(quán)利要求6所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述索引表存儲(chǔ)在可支配寄存器下，所述數(shù)據(jù)執(zhí)行分配模塊根據(jù)索引表，將n個(gè)數(shù)據(jù)塊分別存儲(chǔ)至可支配寄存器相應(yīng)的地址下。

8.根據(jù)權(quán)利要求6所述的可編程人工智能加速器執(zhí)行單元，其特征在于，所述執(zhí)行模塊根據(jù)所述子控制信息執(zhí)行相應(yīng)的運(yùn)算操作時(shí)，根據(jù)控制信息，查詢索引表，獲取n個(gè)數(shù)據(jù)塊在可支配寄存器下的地址，分配模塊依次在所述n個(gè)可支配寄存器上查找具有所述用戶編碼的數(shù)據(jù)塊，并將分別位于其余的n-1個(gè)可支配寄存器上的n-1個(gè)數(shù)據(jù)塊復(fù)制至合成模塊上，合成模塊從n個(gè)數(shù)據(jù)塊中查找到帶有標(biāo)記的包含分割信息的文件，依據(jù)分割信息，將n個(gè)數(shù)據(jù)塊合并為數(shù)據(jù)包，并對(duì)合并后的數(shù)據(jù)包執(zhí)行計(jì)算，得到計(jì)算結(jié)果，并將用戶編碼寫入至計(jì)算結(jié)果。

9.一種可編程人工智能加速器加速方法，其特征在于，包括：

S1.獲取人工智能加速程序指令，并根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼；

S2.根據(jù)上述分類編碼的結(jié)果，對(duì)編碼后的所述人工智能加速程序指令進(jìn)行解碼，生成程序執(zhí)行需要的控制信息；

S3.根據(jù)所述分類編碼結(jié)果，將所述控制信息分配到不同的執(zhí)行模塊；

S4.根據(jù)所述控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果。

10.根據(jù)權(quán)利要求9所述的可編程人工智能加速器加速方法，其特征在于，所述步驟S2與步驟S3之間還包括步驟S23：將所述控制信息根據(jù)運(yùn)行指令所需要算力的大小分割成若干個(gè)可以單獨(dú)運(yùn)行的子控制信息；所述步驟S4之后還包括步驟S5：將所述輸出的執(zhí)行結(jié)果進(jìn)行合成運(yùn)算并輸出。