[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的推理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201980037513.0
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN113811897B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 深圳元戎啟行科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 楊歡

一種神經(jīng)網(wǎng)絡(luò)模型的推理方法，包括：獲取模型推理任務(wù)，所述模型推理任務(wù)攜帶模型標(biāo)識(shí)(202)；解析所述模型標(biāo)識(shí)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的原模型網(wǎng)絡(luò)(204)；獲取預(yù)設(shè)的與所述模型標(biāo)識(shí)對(duì)應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)(206)；根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對(duì)所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)(208)；基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對(duì)應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型(210)；及根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果(212)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及一種神經(jīng)網(wǎng)絡(luò)模型的推理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)是從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡(jiǎn)單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型在語音識(shí)別、圖像識(shí)別以及自然語言處理等領(lǐng)域均有著廣泛的應(yīng)用。隨著計(jì)算機(jī)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)愈發(fā)復(fù)雜，層數(shù)由最初的幾十層發(fā)展至上千層甚至更多。

發(fā)明人意識(shí)到，隨著神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)變得更多更復(fù)雜，推理神經(jīng)網(wǎng)絡(luò)模型，即輸入數(shù)據(jù)運(yùn)行整個(gè)神經(jīng)網(wǎng)絡(luò)模型得到輸出數(shù)據(jù)的過程需要耗費(fèi)更多的時(shí)間。因此，如何減少神經(jīng)網(wǎng)絡(luò)模型的推理時(shí)間，提高推理速度成為目前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

根據(jù)本申請(qǐng)公開的各種實(shí)施例，提供一種神經(jīng)網(wǎng)絡(luò)模型的推理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種神經(jīng)網(wǎng)絡(luò)模型的推理方法包括：

獲取模型推理任務(wù)，所述模型推理任務(wù)攜帶模型標(biāo)識(shí)；

解析所述模型標(biāo)識(shí)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的原模型網(wǎng)絡(luò)；

獲取預(yù)設(shè)的與所述模型標(biāo)識(shí)對(duì)應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)；

根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對(duì)所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)；

基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對(duì)應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型；及

根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果。

一種神經(jīng)網(wǎng)絡(luò)模型的推理裝置包括：

任務(wù)獲取模塊，用于獲取模型推理任務(wù)，所述模型推理任務(wù)攜帶模型標(biāo)識(shí)；

模型解析模塊，用于解析所述模型標(biāo)識(shí)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的原模型網(wǎng)絡(luò)；

模型遍歷模塊，用于獲取預(yù)設(shè)的與所述模型標(biāo)識(shí)對(duì)應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)；根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對(duì)所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)；

模型優(yōu)化模塊，用于基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對(duì)應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型；及

模型推理模塊，用于根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果。

一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器執(zhí)行以下步驟：

獲取模型推理任務(wù)，所述模型推理任務(wù)攜帶模型標(biāo)識(shí)；

解析所述模型標(biāo)識(shí)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型對(duì)應(yīng)的原模型網(wǎng)絡(luò)；

獲取預(yù)設(shè)的與所述模型標(biāo)識(shí)對(duì)應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)；

根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對(duì)所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)；

基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對(duì)應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型；及

根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果。