[發(fā)明專利]基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法

有效

• 申請?zhí)枺?/td>: 201911423801.8
• 申請日: 2019-12-31
• 公開（公告）號: CN111190716B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 余金城;葛廣君;汪玉;楊華中
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06N3/02
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 付文虹

1.一種基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，包括以下步驟：

通過待部署神經(jīng)網(wǎng)絡(luò)模型的每個神經(jīng)網(wǎng)絡(luò)生成正常指令序列，處理所述正常指令序列生成中斷位置；

獲取所述中斷位置進(jìn)行網(wǎng)絡(luò)切換所需必要數(shù)據(jù)，并將所述必要數(shù)據(jù)對應(yīng)操作編碼為虛擬指令；

將所述正常指令序列和所述虛擬指令封裝，得到包含虛擬 指令的指令序列；以及

在運(yùn)行階段時，調(diào)度并解封多個神經(jīng)網(wǎng)絡(luò)封裝后的包含虛擬 指令的指令序列，生成正常指令和虛擬指令，根據(jù)多個任務(wù)間切換請求對正常指令和虛擬指令進(jìn)行微調(diào)，調(diào)至下一任務(wù)的指令序列。

2.根據(jù)權(quán)利要求1所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，所述正常指令序列為基于指令的神經(jīng)網(wǎng)絡(luò)加速器的一段指令序列，所述一段指令序列將一個神經(jīng)網(wǎng)絡(luò)的計算任務(wù)映射到加速器上。

3.根據(jù)權(quán)利要求1所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，所述必要數(shù)據(jù)為進(jìn)行網(wǎng)絡(luò)切換所需備份數(shù)據(jù)和恢復(fù)數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，所述備份數(shù)據(jù)將片上數(shù)據(jù)搬運(yùn)至片外，所述恢復(fù)數(shù)據(jù)將片外數(shù)據(jù)搬運(yùn)至片上。

5.根據(jù)權(quán)利要求1所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，所述中斷位置為所述正常指令序列執(zhí)行過程中進(jìn)行切換的地方，如果要進(jìn)行網(wǎng)絡(luò)任務(wù)切換，在最近到來的中斷位置處進(jìn)行運(yùn)行狀態(tài)的備份和恢復(fù)。

6.根據(jù)權(quán)利要求1所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，封裝過程是將所述虛擬指令和所述正常指令進(jìn)行打包，并且在打包時添加標(biāo)志位，以將所述正常指令和所述虛擬指令進(jìn)行區(qū)分。

7.根據(jù)權(quán)利要求1所述的基于中斷的神經(jīng)網(wǎng)絡(luò)加速器多任務(wù)調(diào)度方法，其特征在于，所述在運(yùn)行階段時，調(diào)度并解封多個神經(jīng)網(wǎng)絡(luò)封裝后的包含虛擬 指令的指令序列，生成正常指令和虛擬指令，根據(jù)多個任務(wù)間切換請求對正常指令和虛擬指令進(jìn)行微調(diào)，調(diào)至下一任務(wù)的指令序列，包括：

在運(yùn)行階段時，利用所述待部署神經(jīng)網(wǎng)絡(luò)模型中的預(yù)設(shè)硬件單元將所述包含虛擬 指令的指令序列解封，并監(jiān)控程序運(yùn)行狀態(tài)和任務(wù)切換請求；

當(dāng)發(fā)生所述任務(wù)切換請求時，所述預(yù)設(shè)硬件單元將所述虛擬指令發(fā)送給執(zhí)行單元，或根據(jù)所述運(yùn)行狀態(tài)對所述正常指令進(jìn)行修改和調(diào)整，調(diào)至下一任務(wù)的指令序列。