[發(fā)明專利]一種可編程人工智能加速器執(zhí)行單元及人工智能加速方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210338859.8
• 申請(qǐng)日: 2022-04-01
• 公開(kāi)（公告）號(hào): CN114611711A
• 公開(kāi)（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 翁鑠雯
• 申請(qǐng)（專利權(quán)）人: 南京廣捷智能科技有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F9/302;G06F9/30
• 代理公司: 江蘇長(zhǎng)德知識(shí)產(chǎn)權(quán)代理有限公司 32478
• 代理人: 周藝

本本發(fā)明公開(kāi)了一種可編程人工智能加速器執(zhí)行單元及人工智能加速方法，所述執(zhí)行單元包括：編碼模塊、解碼模塊、數(shù)據(jù)執(zhí)行分配模塊、執(zhí)行模塊。本發(fā)明方法根據(jù)所述控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果。本發(fā)明可編程人工智能加速器執(zhí)行單元及人工智能加速方法，基于獲取的人工智能加速程序指令，可以根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼，并分配到不同的執(zhí)行模塊進(jìn)行執(zhí)行動(dòng)作，最終將輸出結(jié)果進(jìn)行合成運(yùn)算并輸出，有效的緩解了當(dāng)新的人工智能算法出現(xiàn)時(shí)，原有的人工智能加速器硬件已經(jīng)無(wú)法高效適配新的算法加速的情況，有效的保證了硬件算力的充分利用并降低了更新?lián)Q代的頻次，進(jìn)而有效降低了成本。

技術(shù)領(lǐng)域

本發(fā)明涉及一種可編程人工智能加速器，具體是一種可編程人工智能加速器執(zhí)行單元及人工智能加速方法。

背景技術(shù)

隨著大數(shù)據(jù)、人工智能技術(shù)的快速發(fā)展，傳統(tǒng)的中央處理器CPU的運(yùn)算處理能力已經(jīng)無(wú)法滿足人工智能運(yùn)算的處理需求，業(yè)內(nèi)處理器廠商開(kāi)始研發(fā)專用的人工智能加速器用于人工智能算法加速。

現(xiàn)有的人工智能加速器大多使用ASIC專用集成電路設(shè)計(jì)方法進(jìn)行設(shè)計(jì)，根據(jù)這種方法設(shè)計(jì)的人工智能加速器通常用于特定的人工智能算法加速。然而，隨著人工智能技術(shù)在各領(lǐng)域的普遍應(yīng)用，作為人工智能技術(shù)基礎(chǔ)的機(jī)器學(xué)習(xí)算法、尤其是深度學(xué)習(xí)算法也是多種多樣。為了使得一種人工智能加速器能夠支持多種人工智能算法的運(yùn)算加速，現(xiàn)有的一種方案是從功能的角度提取人工智能算法的通用邏輯，通過(guò)硬件控制，使得多種人工智能算法可以在相同的硬件邏輯上運(yùn)行，從而達(dá)到一款A(yù)SIC人工智能加速器可以實(shí)現(xiàn)對(duì)多種人工智能算法進(jìn)行加速的目的。例如，可以將人工智能算法抽象為矩陣乘法(MatrixMultiply)、激活(Activation)和規(guī)范化/池化(Normalize/Pool)三種基本功能操作，結(jié)合硬件控制達(dá)到用一種人工智能加速器實(shí)現(xiàn)多種人工智能算法的目的。

但是，這種方法是從功能的角度對(duì)常用的人工智能算法進(jìn)行抽象，而不同的人工智能算法對(duì)硬件的利用率不同，這種抽象方法必然會(huì)導(dǎo)致一部分硬件對(duì)一些人工智能算法是冗余的，而對(duì)其它人工智能算法卻是不足的。此外，通過(guò)ASIC思路設(shè)計(jì)的人工智能加速器執(zhí)行單元只能按照固定的流程執(zhí)行人工智能算法。隨著人工智能算法的不斷研究，各種算法也在不斷發(fā)展演進(jìn)，當(dāng)新的人工智能算法出現(xiàn)時(shí)，原有的人工智能加速器硬件已經(jīng)無(wú)法高效適配新的算法加速，從而導(dǎo)致硬件的算力浪費(fèi)和成本上升。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種可編程人工智能加速器執(zhí)行單元及人工智能加速方法，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種可編程人工智能加速器執(zhí)行單元，包括：

編碼模塊，用于獲取人工智能加速程序指令，并根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼；

解碼模塊，根據(jù)上述分類編碼的結(jié)果，對(duì)編碼后的所述人工智能加速程序指令進(jìn)行解碼，生成程序執(zhí)行需要的控制信息；

數(shù)據(jù)執(zhí)行分配模塊，根據(jù)所述分類編碼結(jié)果，將所述控制信息分配到不同的執(zhí)行模塊；

執(zhí)行模塊，根據(jù)所述控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果。

作為本發(fā)明的一個(gè)優(yōu)選方案，本發(fā)明還提供一種可編程人工智能加速器執(zhí)行單元，包括：

編碼模塊，用于獲取人工智能加速程序指令，并根據(jù)運(yùn)行該指令所需要算力的大小進(jìn)行分類編碼；

解碼模塊，根據(jù)上述分類編碼的結(jié)果，對(duì)編碼后的所述人工智能加速程序指令進(jìn)行解碼，生成程序執(zhí)行需要的控制信息；

數(shù)據(jù)分割模塊，用于將所述控制信息根據(jù)運(yùn)行指令所需要算力的大小分割成若干個(gè)可以單獨(dú)運(yùn)行的子控制信息；

數(shù)據(jù)執(zhí)行分配模塊，根據(jù)所述分類編碼結(jié)果，將所述分割后的子控制信息分配到不同的執(zhí)行模塊；

執(zhí)行模塊，根據(jù)所述子控制信息執(zhí)行相應(yīng)的運(yùn)算操作，并輸出執(zhí)行結(jié)果；

合成模塊，將所述輸出的執(zhí)行結(jié)果進(jìn)行合成運(yùn)算并輸出。