[發(fā)明專利]一種深度學(xué)習(xí)編譯處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210335286.3
• 申請(qǐng)日: 2022-03-31
• 公開(kāi)（公告）號(hào): CN114637515A
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 何也
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F8/41
• 分類號(hào): G06F8/41;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張倩

本申請(qǐng)涉及深度學(xué)習(xí)、編譯技術(shù)、高性能計(jì)算交叉技術(shù)應(yīng)用領(lǐng)域，公開(kāi)了一種深度學(xué)習(xí)編譯處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，在深度學(xué)習(xí)編譯過(guò)程中，基于深度學(xué)習(xí)框架產(chǎn)生的模型文件，獲取當(dāng)前計(jì)算層的輸入數(shù)據(jù)，若當(dāng)前計(jì)算層的輸入數(shù)據(jù)需占用的存儲(chǔ)空間大于所在設(shè)備的臨時(shí)存儲(chǔ)單元的可用容量，則根據(jù)卷積計(jì)算原理，對(duì)計(jì)算層進(jìn)行拆分，生成多個(gè)輸入數(shù)據(jù)不大于臨時(shí)存儲(chǔ)單元的可用容量的編譯推理任務(wù)；否則以輸入數(shù)據(jù)為一個(gè)編譯推理任務(wù)；繼而依次執(zhí)行編譯推理任務(wù)，能夠有效避免硬件資源不足的設(shè)備無(wú)法執(zhí)行較大深度學(xué)習(xí)網(wǎng)絡(luò)的深度學(xué)習(xí)編譯任務(wù)的問(wèn)題，能夠在能力有限的硬件設(shè)備上滿足不同大小深度學(xué)習(xí)網(wǎng)絡(luò)的編譯需求。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)、編譯技術(shù)、高性能計(jì)算交叉技術(shù)應(yīng)用領(lǐng)域，特別是涉及一種深度學(xué)習(xí)編譯處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

人工智能在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自動(dòng)駕駛等諸多領(lǐng)域中，已有廣泛應(yīng)用。例如在自助結(jié)算機(jī)上需要采用圖像分類技術(shù)對(duì)所選商品進(jìn)行分類識(shí)別，從而給出商品價(jià)格；例如AI攝像頭通過(guò)圖像識(shí)別來(lái)進(jìn)行包裹分類、好壞果分類等。

雖然深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的識(shí)別性能以及遠(yuǎn)超于傳統(tǒng)的機(jī)器學(xué)習(xí)，但在智能停車場(chǎng)、智能卡口以及自動(dòng)駕駛等實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景中，落地較少。這是因?yàn)檫@些應(yīng)用場(chǎng)景下所采用的邊緣設(shè)備往往功耗較小，產(chǎn)生了算力和存儲(chǔ)的約束。

目前主流深度學(xué)習(xí)框架caffe、Tensorflow以及Pytorch等在cpu、gpu端已經(jīng)有成熟的部署，但面對(duì)新型邊緣硬件設(shè)備，卻支持甚少。TVM、glow等深度學(xué)習(xí)編譯器的出現(xiàn)，極大解決了硬件設(shè)備兼容問(wèn)題，但邊緣計(jì)算端等硬件設(shè)備受限于其計(jì)算能力，對(duì)深度學(xué)習(xí)編譯器的優(yōu)化提出了更高的要求。針對(duì)邊緣計(jì)算的深度學(xué)習(xí)編譯方案已經(jīng)被提出，比如Intel的Open VINO，ARM的ARM NN，NV的Tensor RT等，這些深度學(xué)習(xí)編譯器都是針對(duì)特定的硬件平臺(tái)。也有類似Glow等針對(duì)不同硬件平臺(tái)優(yōu)化的深度學(xué)習(xí)編譯器。

現(xiàn)有的面向邊緣計(jì)算的深度學(xué)習(xí)編譯器，其目的旨在適應(yīng)不同的邊緣計(jì)算設(shè)備。深度學(xué)習(xí)編譯步驟主要包括三步，步驟一：不同深度學(xué)習(xí)框架的模型文件構(gòu)建通用的第一中間表示(Intermediate Representation，IR)，即轉(zhuǎn)換為使用圖形式表示的第一中間表示；步驟二：計(jì)算圖優(yōu)化，即對(duì)第一中間表示進(jìn)行層合并、去掉硬件中無(wú)需實(shí)現(xiàn)的層等操作，生成第二中間表示；步驟三：指令碼的生成，這部分主要是對(duì)第二中間表示進(jìn)行調(diào)度優(yōu)化，最終生成基于硬件平臺(tái)的執(zhí)行的指令碼。由此，通過(guò)粗粒度的第一中間表示和第二中間表示實(shí)現(xiàn)與后端硬件無(wú)關(guān)(或幾乎無(wú)關(guān))的圖優(yōu)化，隨后通過(guò)引入細(xì)粒度的第三中間表示實(shí)現(xiàn)針對(duì)硬件的優(yōu)化并方便其到最終指令碼的編譯。

為適應(yīng)在能力有限的硬件設(shè)備上執(zhí)行深度學(xué)習(xí)編譯任務(wù)，如面向邊緣計(jì)算的深度學(xué)習(xí)編譯器，在執(zhí)行步驟一、步驟二時(shí)旨在AI芯片開(kāi)發(fā)者無(wú)需耗費(fèi)更多精力處理不同框架的模型文件而可直接生成一個(gè)通用的中間表達(dá)圖，優(yōu)化效果不明顯；在執(zhí)行步驟三時(shí)將每個(gè)計(jì)算操作編寫為多重循環(huán)的語(yǔ)言表示以生成適應(yīng)于特定硬件的指令碼。

然而，當(dāng)前的深度學(xué)習(xí)編譯優(yōu)化方法，還是不能解決硬件設(shè)備的能力和深度學(xué)習(xí)任務(wù)需求之間的矛盾。如何在能力有限的硬件設(shè)備上滿足深度學(xué)習(xí)任務(wù)的執(zhí)行需求，是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種深度學(xué)習(xí)編譯處理方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，用于在能力有限的硬件設(shè)備上滿足深度學(xué)習(xí)編譯任務(wù)的執(zhí)行需求。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N深度學(xué)習(xí)編譯處理方法，包括：

基于深度學(xué)習(xí)框架生成的模型文件，獲取當(dāng)前計(jì)算層的輸入數(shù)據(jù)；

若所述當(dāng)前計(jì)算層的輸入數(shù)據(jù)需占用的存儲(chǔ)空間大于所在設(shè)備的臨時(shí)存儲(chǔ)單元的可用容量，則根據(jù)卷積計(jì)算原理，對(duì)所述計(jì)算層進(jìn)行拆分，生成多個(gè)輸入數(shù)據(jù)不大于所述臨時(shí)存儲(chǔ)單元的可用容量的編譯推理任務(wù)；