[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的推理方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201980037513.0
• 申請日: 2019-12-30
• 公開（公告）號: CN113811897B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 深圳元戎啟行科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 楊歡

1.一種神經(jīng)網(wǎng)絡(luò)模型的推理方法，所述方法應(yīng)用于自動駕駛領(lǐng)域或自然語言處理領(lǐng)域，所述方法包括：

獲取模型推理任務(wù)，所述模型推理任務(wù)攜帶模型標(biāo)識；

解析所述模型標(biāo)識對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的原模型網(wǎng)絡(luò)；

獲取預(yù)設(shè)的與所述模型標(biāo)識對應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)；

根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)；

基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型；及

根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果；

若所述方法應(yīng)用于自動駕駛領(lǐng)域，則所述神經(jīng)網(wǎng)絡(luò)模型包括圖像識別模型；所述獲取模型推理任務(wù)包括：獲取傳感器采集并發(fā)送的交通信號燈圖像，基于所述交通信號燈圖像生成圖像識別任務(wù)，并根據(jù)所述圖像識別任務(wù)生成模型推理任務(wù)；所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)為標(biāo)準(zhǔn)圖像識別子網(wǎng)絡(luò)；所述根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果，包括：根據(jù)優(yōu)化后的圖像識別模型對所述交通信號燈圖像進(jìn)行運(yùn)算推理，得到所述交通信號燈圖像中信號燈的顏色；

若所述方法應(yīng)用于自然語言處理領(lǐng)域，則所述神經(jīng)網(wǎng)絡(luò)模型包括文本分類模；所述獲取模型推理任務(wù)包括：接收終端發(fā)送的文本分類請求，根據(jù)所述文本分類請求生成模型推理任務(wù)，所述文本分類請求用于指示對待分類文本進(jìn)行分類處理；所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)包括標(biāo)準(zhǔn)分類子網(wǎng)絡(luò)；所述根據(jù)所述優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，得到模型推理結(jié)果，包括：根據(jù)優(yōu)化后的文本分類模型對輸入的所述待分類文本進(jìn)行推理，得到文本分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取預(yù)設(shè)的與所述模型標(biāo)識對應(yīng)的標(biāo)準(zhǔn)子網(wǎng)絡(luò)之前，所述方法還包括：

獲取標(biāo)準(zhǔn)節(jié)點(diǎn)關(guān)聯(lián)文件；

根據(jù)所述標(biāo)準(zhǔn)節(jié)點(diǎn)關(guān)聯(lián)文件生成網(wǎng)絡(luò)描述腳本；及

執(zhí)行所述網(wǎng)絡(luò)描述腳本，生成所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)對所述原模型網(wǎng)絡(luò)進(jìn)行遍歷，得到待優(yōu)化子網(wǎng)絡(luò)，包括：

將所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)和所述原模型網(wǎng)絡(luò)分別進(jìn)行拓?fù)渑判颍玫綐?biāo)準(zhǔn)節(jié)點(diǎn)序列和原模型節(jié)點(diǎn)序列；

根據(jù)所述標(biāo)準(zhǔn)節(jié)點(diǎn)序列與所述原模型節(jié)點(diǎn)序列中的原模型節(jié)點(diǎn)進(jìn)行匹配，得到待優(yōu)化節(jié)點(diǎn)；及

根據(jù)所述待優(yōu)化節(jié)點(diǎn)生成待優(yōu)化子網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述標(biāo)準(zhǔn)節(jié)點(diǎn)序列與所述原模型節(jié)點(diǎn)序列中的原模型節(jié)點(diǎn)進(jìn)行匹配，得到待優(yōu)化節(jié)點(diǎn)，包括：

根據(jù)所述標(biāo)準(zhǔn)節(jié)點(diǎn)序列獲取標(biāo)準(zhǔn)節(jié)點(diǎn)對應(yīng)的標(biāo)準(zhǔn)節(jié)點(diǎn)信息；及

基于所述標(biāo)準(zhǔn)節(jié)點(diǎn)信息依次對所述原模型節(jié)點(diǎn)序列中的原模型節(jié)點(diǎn)進(jìn)行遍歷，確定與所述標(biāo)準(zhǔn)節(jié)點(diǎn)信息匹配的原模型節(jié)點(diǎn)作為待優(yōu)化節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述根據(jù)所述標(biāo)準(zhǔn)節(jié)點(diǎn)序列與所述原模型節(jié)點(diǎn)序列中的原模型節(jié)點(diǎn)進(jìn)行匹配之后，所述方法還包括：

當(dāng)所述原模型節(jié)點(diǎn)序列中不存在與標(biāo)準(zhǔn)節(jié)點(diǎn)相匹配的原模型節(jié)點(diǎn)時，生成優(yōu)化失敗提示信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)子網(wǎng)絡(luò)所對應(yīng)的目標(biāo)子網(wǎng)絡(luò)將所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行優(yōu)化，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型，包括：

獲取原模型節(jié)點(diǎn)對應(yīng)的原輸入節(jié)點(diǎn)；

將所述原輸入節(jié)點(diǎn)與所述待優(yōu)化子網(wǎng)絡(luò)進(jìn)行比對；

當(dāng)所述原輸入節(jié)點(diǎn)屬于所述待優(yōu)化子網(wǎng)絡(luò)時，確定所述原輸入節(jié)點(diǎn)對應(yīng)的所述原模型節(jié)點(diǎn)作為輸出節(jié)點(diǎn)；及

剔除所述待優(yōu)化子網(wǎng)絡(luò)，將所述目標(biāo)子網(wǎng)絡(luò)與所述輸出節(jié)點(diǎn)連接，得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求1至6任一項所述的方法，其特征在于，在所述解析所述模型標(biāo)識對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型之前，所述方法還包括：

獲取歷史推理數(shù)據(jù)，所述歷史推理數(shù)據(jù)包括歷史優(yōu)化模型標(biāo)識；

將所述模型標(biāo)識與所述歷史優(yōu)化模型標(biāo)識進(jìn)行比對；及

當(dāng)所述模型標(biāo)識屬于所述歷史優(yōu)化模型標(biāo)識時，調(diào)用與所述歷史優(yōu)化模型標(biāo)識相對應(yīng)的歷史優(yōu)化神經(jīng)網(wǎng)絡(luò)模型。