[發(fā)明專(zhuān)利]一種深度學(xué)習(xí)編譯處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210335286.3
• 申請(qǐng)日: 2022-03-31
• 公開(kāi)（公告）號(hào): CN114637515A
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 何也
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類(lèi)號(hào): G06F8/41
• 分類(lèi)號(hào): G06F8/41;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張倩

1.一種深度學(xué)習(xí)編譯處理方法，其特征在于，包括：

基于深度學(xué)習(xí)框架生成的模型文件，獲取當(dāng)前計(jì)算層的輸入數(shù)據(jù)；

若所述當(dāng)前計(jì)算層的輸入數(shù)據(jù)需占用的存儲(chǔ)空間大于所在設(shè)備的臨時(shí)存儲(chǔ)單元的可用容量，則根據(jù)卷積計(jì)算原理，對(duì)所述計(jì)算層進(jìn)行拆分，生成多個(gè)輸入數(shù)據(jù)不大于所述臨時(shí)存儲(chǔ)單元的可用容量的編譯推理任務(wù)；

若所述當(dāng)前計(jì)算層的輸入數(shù)據(jù)需占用的存儲(chǔ)空間不大于所述臨時(shí)存儲(chǔ)單元的可用容量，則以所述輸入數(shù)據(jù)為一個(gè)所述編譯推理任務(wù)；

依次執(zhí)行所述編譯推理任務(wù)。

2.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)編譯處理方法，其特征在于，所述當(dāng)前計(jì)算層的輸入數(shù)據(jù)包括輸入特征圖和所述輸入特征圖的訓(xùn)練參數(shù)；所述輸入特征圖的維度包括色彩通道、高度、寬度，所述訓(xùn)練參數(shù)的維度包括訓(xùn)練參數(shù)數(shù)量、色彩通道、高度、寬度；

所述根據(jù)卷積計(jì)算原理，對(duì)所述計(jì)算層進(jìn)行拆分，生成多個(gè)輸入數(shù)據(jù)不大于所述臨時(shí)存儲(chǔ)單元的可用容量的編譯推理任務(wù)，具體為：

在高度維度或?qū)挾染S度對(duì)所述輸入特征圖進(jìn)行拆分，生成多個(gè)所述編譯推理任務(wù)；

相應(yīng)的，所述執(zhí)行所述編譯推理任務(wù)，具體為：

根據(jù)所述編譯推理任務(wù)的填充參數(shù)、所述編譯推理任務(wù)的步幅參數(shù)執(zhí)行對(duì)拆分后的所述輸入特征圖的計(jì)算。

3.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)編譯處理方法，其特征在于，所述當(dāng)前計(jì)算層的輸入數(shù)據(jù)包括輸入特征圖和所述輸入特征圖的訓(xùn)練參數(shù)；所述輸入特征圖的維度包括色彩通道、高度、寬度，所述訓(xùn)練參數(shù)的維度包括訓(xùn)練參數(shù)數(shù)量、色彩通道、高度、寬度；

所述根據(jù)卷積計(jì)算原理，對(duì)所述計(jì)算層進(jìn)行拆分，生成多個(gè)輸入數(shù)據(jù)不大于所述臨時(shí)存儲(chǔ)單元的可用容量的編譯推理任務(wù)，具體為：

在色彩通道維度同時(shí)對(duì)所述輸入特征圖和所述訓(xùn)練參數(shù)進(jìn)行拆分，生成多個(gè)所述編譯推理任務(wù)；

相應(yīng)的，所述執(zhí)行所述編譯推理任務(wù)，具體為：

讀取所述編譯推理任務(wù)對(duì)應(yīng)的拆分后的訓(xùn)練參數(shù)后，執(zhí)行所述編譯推理任務(wù)。

4.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)編譯處理方法，其特征在于，所述臨時(shí)存儲(chǔ)單元具體為靜態(tài)隨機(jī)存取存儲(chǔ)器；

所述執(zhí)行所述編譯推理任務(wù)，具體包括：

根據(jù)所述編譯推理任務(wù)的計(jì)算類(lèi)型和所述靜態(tài)隨機(jī)存取存儲(chǔ)器的可用容量，將所述編譯推理任務(wù)拆分為多個(gè)子編譯推理任務(wù)；

根據(jù)所述子編譯推理任務(wù)所需輸入通道和輸出通道的數(shù)量之和，將所述靜態(tài)隨機(jī)存取存儲(chǔ)器的可用空間拆分為多塊存儲(chǔ)空間；

根據(jù)各所述子編譯推理任務(wù)之間的計(jì)算關(guān)系，將各所述子編譯推理任務(wù)的輸入數(shù)據(jù)在所述靜態(tài)隨機(jī)存取存儲(chǔ)器的各存儲(chǔ)空間動(dòng)態(tài)擦寫(xiě)。

5.根據(jù)權(quán)利要求4所述的深度學(xué)習(xí)編譯處理方法，其特征在于，所述根據(jù)各所述子編譯推理任務(wù)之間的計(jì)算關(guān)系，將各所述子編譯推理任務(wù)的輸入數(shù)據(jù)在所述靜態(tài)隨機(jī)存取存儲(chǔ)器的各存儲(chǔ)空間動(dòng)態(tài)擦寫(xiě)，具體為：

在執(zhí)行當(dāng)前所述子編譯推理任務(wù)的同時(shí)，將下一個(gè)所述子編譯推理任務(wù)的輸入數(shù)據(jù)寫(xiě)入所述靜態(tài)隨機(jī)存取存儲(chǔ)器上可釋放的存儲(chǔ)空間。

6.根據(jù)權(quán)利要求5所述的深度學(xué)習(xí)編譯處理方法，其特征在于，當(dāng)下一個(gè)所述子編譯推理任務(wù)對(duì)應(yīng)的所述訓(xùn)練參數(shù)與當(dāng)前所述子編譯推理任務(wù)的所述訓(xùn)練參數(shù)相同時(shí)，所述在執(zhí)行當(dāng)前所述子編譯推理任務(wù)的同時(shí)，將下一個(gè)所述子編譯推理任務(wù)的輸入數(shù)據(jù)寫(xiě)入所述靜態(tài)隨機(jī)存取存儲(chǔ)器上可釋放的存儲(chǔ)空間，具體為：

在執(zhí)行當(dāng)前所述子編譯推理任務(wù)時(shí)，僅將下一個(gè)所述子編譯推理任務(wù)的所述輸入特征圖搬移至所述靜態(tài)隨機(jī)存取存儲(chǔ)器上可釋放的存儲(chǔ)空間。

7.根據(jù)權(quán)利要求5所述的深度學(xué)習(xí)編譯處理方法，其特征在于，當(dāng)下一個(gè)所述子編譯推理任務(wù)的輸入?yún)?shù)為當(dāng)前所述子編譯推理任務(wù)的輸出參數(shù)時(shí)，所述在執(zhí)行當(dāng)前所述子編譯推理任務(wù)的同時(shí)，將下一個(gè)所述子編譯推理任務(wù)的輸入數(shù)據(jù)寫(xiě)入所述靜態(tài)隨機(jī)存取存儲(chǔ)器上可釋放的存儲(chǔ)空間，具體為：

在執(zhí)行當(dāng)前所述子編譯推理任務(wù)時(shí)，僅將下一個(gè)所述子編譯推理任務(wù)的所述訓(xùn)練參數(shù)搬移至所述靜態(tài)隨機(jī)存取存儲(chǔ)器上可釋放的所述存儲(chǔ)空間。