[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011022468.2
• 申請(qǐng)日: 2020-09-25
• 公開(kāi)（公告）號(hào): CN112149826B
• 公開(kāi)（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 李春江;夏一民;劉宗林;龔國(guó)輝;劉蓬俠;羅恒;王磊;趙祥;徐雪剛
• 申請(qǐng)（專利權(quán)）人: 湖南長(zhǎng)城銀河科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 長(zhǎng)沙市護(hù)航專利代理事務(wù)所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.一種深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，其特征在于，包括如下步驟：

步驟S1、獲取深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算節(jié)點(diǎn)的包含計(jì)算量和計(jì)算時(shí)間的Profile信息，其中，采用靜態(tài)分析和動(dòng)態(tài)執(zhí)行相結(jié)合的方法生成計(jì)算量和計(jì)算時(shí)間，具體包括：

步驟S11、估算深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)各個(gè)層的計(jì)算量：解析深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描述文件，根據(jù)浮點(diǎn)數(shù)運(yùn)算次數(shù)計(jì)算方法，估算深度神經(jīng)網(wǎng)絡(luò)各層的計(jì)算量，將結(jié)果插入新建的包含Profile信息的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描述文件中；

步驟S12、試運(yùn)行推理程序以獲得各個(gè)層的計(jì)算時(shí)間：在預(yù)設(shè)試運(yùn)行推理程序的推理計(jì)算平臺(tái)上，試運(yùn)行推理程序，記錄各個(gè)層的計(jì)算時(shí)間，將結(jié)果同樣記錄到所述步驟S11中含Profile信息的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描述文件中；

步驟S2、將Profile信息與深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)描述融合，形成Profile圖：根據(jù)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描述文件、Profile信息以及計(jì)算核心的信息，構(gòu)建包含計(jì)算量、計(jì)算時(shí)間、計(jì)算函數(shù)的Profile圖，用于指導(dǎo)計(jì)算核心的調(diào)度；

步驟S3、基于深度神經(jīng)網(wǎng)絡(luò)Profile圖的計(jì)算核心的調(diào)度，實(shí)現(xiàn)性能優(yōu)化。

2.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，采用Lflops來(lái)表示深度神經(jīng)網(wǎng)絡(luò)每層計(jì)算的計(jì)算量，用Timing表示深度神經(jīng)網(wǎng)絡(luò)層的動(dòng)態(tài)試運(yùn)行推理程序時(shí)的計(jì)算時(shí)間。

3.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，其特征在于，所述步驟S2具體為，解析添加了Profile信息的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描述文件，結(jié)合試運(yùn)行推理程序源代碼中的程序結(jié)構(gòu)，構(gòu)建Profile圖結(jié)構(gòu)。

4.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，其特征在于，所述步驟S2中，所述Profile圖包括圖節(jié)點(diǎn)描述的計(jì)算函數(shù)，所述圖節(jié)點(diǎn)描述為在特定計(jì)算層計(jì)算階段，映射為程序的計(jì)算核心，所述計(jì)算核心為單獨(dú)可調(diào)度的計(jì)算函數(shù)。

5.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，其特征在于，所述步驟S3具體為：根據(jù)計(jì)算設(shè)備上計(jì)算資源的并行數(shù)量對(duì)計(jì)算核心進(jìn)行輪轉(zhuǎn)調(diào)度：將深度神經(jīng)網(wǎng)絡(luò)各個(gè)層的計(jì)算核心以輪轉(zhuǎn)調(diào)度的方法調(diào)度到各個(gè)計(jì)算資源中。

6.根據(jù)權(quán)利要求5所述的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算中一種基于Profile圖的優(yōu)化方法，其特征在于，所述計(jì)算資源的并行數(shù)量可通過(guò)CPU核心數(shù)、線程數(shù)或PE計(jì)算陣列中的PE數(shù)量來(lái)計(jì)算。