[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的定制化方法、系統(tǒng)、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010575490.3
• 申請日: 2020-06-22
• 公開（公告）號: CN111753983A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 潘搌鵬;熊超;蔡權(quán)雄;牛昕宇
• 申請（專利權(quán)）人: 深圳鯤云信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明實(shí)施例公開了一種神經(jīng)網(wǎng)絡(luò)模型的定制化方法、系統(tǒng)、設(shè)備和存儲介質(zhì)。該方法包括：獲取預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型；將所述神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為靜態(tài)計(jì)算圖模型；根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出有向無環(huán)計(jì)算圖模型；通過預(yù)設(shè)的圖解析引擎將所述有向無環(huán)計(jì)算圖模型轉(zhuǎn)換為中間表達(dá)計(jì)算圖；根據(jù)所述中間表達(dá)計(jì)算圖生成定制化的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。本發(fā)明實(shí)施例實(shí)現(xiàn)了生成定制化的神經(jīng)網(wǎng)絡(luò)模型以適用于不同的深度學(xué)習(xí)框架。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及神經(jīng)網(wǎng)絡(luò)技術(shù)，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型的定制化方法、系統(tǒng)、設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著深度學(xué)習(xí)領(lǐng)域的一系列進(jìn)展，越來越多的企業(yè)推出自家的深度學(xué)習(xí)框架，不同的深度學(xué)習(xí)框架有著各自的優(yōu)點(diǎn)，有的適用于研究，有的適用于工業(yè)部署等等。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)是通過數(shù)據(jù)流計(jì)算圖實(shí)現(xiàn)的，數(shù)據(jù)(張量等)從輸入流過一個個集選節(jié)點(diǎn)，最終在輸出節(jié)點(diǎn)得到推理結(jié)果。不同的框架實(shí)現(xiàn)數(shù)據(jù)流計(jì)算圖的方式不盡相同，有的使用靜態(tài)計(jì)算圖，有的在運(yùn)行的過程中動態(tài)創(chuàng)建。但是不管哪種方式，最終都會得到一個神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)計(jì)算圖以及權(quán)重。不同的框架有其自身的模型部署方法，而對于各大人工智能芯片廠商來說，如何更容易地把各種深度學(xué)習(xí)框架進(jìn)行解析與部署是其開發(fā)芯片工具鏈的關(guān)鍵問題。對于不同深度學(xué)習(xí)框架的轉(zhuǎn)換，通常需要針對不同框架的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行解析，生成一個特定的中間表達(dá)(Intermediate Representation)，對中間表達(dá)進(jìn)行定制優(yōu)化后部署到硬件設(shè)備。

而不同的框架特性及模型的數(shù)據(jù)結(jié)構(gòu)區(qū)別，使得開發(fā)人員需要開發(fā)多個解析前端，不同框架的前端解析模式不統(tǒng)一，導(dǎo)致前端的開發(fā)過程繁瑣且效率低下。目前轉(zhuǎn)換不同的框架需要設(shè)計(jì)不同的神經(jīng)網(wǎng)絡(luò)圖模型，不利于擴(kuò)展，且維護(hù)成本高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)模型的定制化方法、系統(tǒng)、設(shè)備和存儲介質(zhì)，以實(shí)現(xiàn)生成定制化的神經(jīng)網(wǎng)絡(luò)模型以適用于不同的深度學(xué)習(xí)框架。

為達(dá)此目的，本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型的定制化方法，該方法包括：

獲取預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型；

將所述神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為靜態(tài)計(jì)算圖模型；

根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出有向無環(huán)計(jì)算圖模型；

通過預(yù)設(shè)的圖解析引擎將所述有向無環(huán)計(jì)算圖模型轉(zhuǎn)換為中間表達(dá)計(jì)算圖；

根據(jù)所述中間表達(dá)計(jì)算圖生成定制化的目標(biāo)神經(jīng)網(wǎng)絡(luò)模型。

進(jìn)一步的，所述根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出有向無環(huán)計(jì)算圖模型包括：

根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出無向計(jì)算圖模型，所述節(jié)點(diǎn)信息包括計(jì)算節(jié)點(diǎn)順序；

根據(jù)所述計(jì)算節(jié)點(diǎn)順序?yàn)樗鰺o向計(jì)算圖模型的第二計(jì)算節(jié)點(diǎn)添加邊關(guān)系以構(gòu)建出有向無環(huán)計(jì)算圖模型。

進(jìn)一步的，所述根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出無向計(jì)算圖模型包括：

獲取所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息，所述節(jié)點(diǎn)信息還包括計(jì)算節(jié)點(diǎn)數(shù)量；

初始化與所述計(jì)算節(jié)點(diǎn)數(shù)量相同數(shù)量的第二計(jì)算節(jié)點(diǎn)；

按照拓?fù)渑判驅(qū)⑺龉?jié)點(diǎn)信息對應(yīng)添加至所述第二計(jì)算節(jié)點(diǎn)以構(gòu)建出無向計(jì)算圖模型。

進(jìn)一步的，所述根據(jù)所述靜態(tài)計(jì)算圖模型的第一計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)信息構(gòu)建出有向無環(huán)計(jì)算圖模型之后包括：

通過預(yù)設(shè)接口將所述有向無環(huán)計(jì)算圖模型可視化顯示；

接收用戶對所述有向無環(huán)計(jì)算圖模型的修改。