[發(fā)明專利]一種輕量型神經(jīng)網(wǎng)絡(luò)及圖像處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110237244.1
• 申請(qǐng)日: 2021-03-03
• 公開（公告）號(hào): CN113095356A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 焦繼超;張?zhí)晾?/a>
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

本發(fā)明實(shí)施例提供了一種輕量型神經(jīng)網(wǎng)絡(luò)的圖像處理方法及裝置，涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，該輕量型神經(jīng)網(wǎng)絡(luò)包括：特征提取網(wǎng)絡(luò)和特征聚合網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于提取作為輸入內(nèi)容的目標(biāo)圖像的特征矩陣，所述特征聚合網(wǎng)絡(luò)用于基于所述目標(biāo)圖像的特征矩陣，確定處理結(jié)果；所述特征提取網(wǎng)絡(luò)包括多個(gè)提取子網(wǎng)絡(luò)和融合子網(wǎng)絡(luò)；其中，每一提取子網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像進(jìn)行池化下采樣，得到該提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣；所述融合子網(wǎng)絡(luò)將各個(gè)提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣進(jìn)行矩陣融合，得到所述目標(biāo)圖像的特征矩陣。本方案提供的輕量型神經(jīng)網(wǎng)絡(luò)模型可以部署于無法搭載高性能算力的設(shè)備內(nèi)，以使該無法搭載高性能算力的設(shè)備可以進(jìn)行圖像處理。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種輕量型神經(jīng)網(wǎng)絡(luò)的圖像處理方法及裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)模型是目前在進(jìn)行圖像處理時(shí)，應(yīng)用較多的一種處理模型。現(xiàn)有技術(shù)中，將待處理的目標(biāo)圖像輸入至神經(jīng)網(wǎng)絡(luò)模型，通過神經(jīng)網(wǎng)絡(luò)模型中的多層子網(wǎng)絡(luò)結(jié)構(gòu)的處理，得到處理結(jié)果。

然而，目前的神經(jīng)網(wǎng)絡(luò)模型所包含的子網(wǎng)絡(luò)層較為龐大，使得該神經(jīng)網(wǎng)絡(luò)模型對(duì)所部署的設(shè)備的計(jì)算能力有較高要求。當(dāng)無法搭載高性能算力的設(shè)備，如：嵌入式的移動(dòng)設(shè)備，在進(jìn)行圖像處理時(shí)，例如：對(duì)目標(biāo)圖像內(nèi)所包含物體的類別進(jìn)行分類時(shí)，容易出現(xiàn)該神經(jīng)網(wǎng)絡(luò)模型無法正常運(yùn)行等問題。因此，如何為無法搭載高性能算力的設(shè)備，例如：手機(jī)、平板電腦等，提供一種輕量型的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像處理，是一種亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種輕量型神經(jīng)網(wǎng)絡(luò)及圖像處理方法及裝置，以實(shí)現(xiàn)為無法搭載高性能算力的設(shè)備，提供一種輕量型的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像處理的目的。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種輕量型神經(jīng)網(wǎng)絡(luò)，包括：特征提取網(wǎng)絡(luò)和特征聚合網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于提取作為輸入內(nèi)容的目標(biāo)圖像的特征矩陣，所述特征聚合網(wǎng)絡(luò)用于基于所述目標(biāo)圖像的特征矩陣，確定處理結(jié)果；

所述特征提取網(wǎng)絡(luò)包括多個(gè)提取子網(wǎng)絡(luò)和融合子網(wǎng)絡(luò)；其中，每一提取子網(wǎng)絡(luò)對(duì)所述目標(biāo)圖像進(jìn)行池化下采樣，得到該提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣；所述融合子網(wǎng)絡(luò)將各個(gè)提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣進(jìn)行矩陣融合，得到所述目標(biāo)圖像的特征矩陣。

可選地，所述多個(gè)提取子網(wǎng)絡(luò)包括目標(biāo)提取子網(wǎng)絡(luò)以及除所述目標(biāo)提取子網(wǎng)絡(luò)以外的其他提取子網(wǎng)絡(luò)；

所述目標(biāo)提取子網(wǎng)絡(luò)用于利用預(yù)設(shè)的第一低秩卷積核和第二低秩卷積核，依次對(duì)所述目標(biāo)圖像進(jìn)行池化下采樣，得到所述目標(biāo)提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣；其中，各低秩卷積核由標(biāo)準(zhǔn)卷積核分解得到，任一低秩卷積核的長(zhǎng)度尺寸或?qū)挾瘸叽缗c所述標(biāo)準(zhǔn)卷積核對(duì)應(yīng)的尺寸大小相同，并且，各低秩卷積核的尺寸總和，小于所述標(biāo)準(zhǔn)卷積核的尺寸，所述標(biāo)準(zhǔn)卷積核為長(zhǎng)度尺寸與寬度尺寸相同的卷積核；

所述其他提取子網(wǎng)絡(luò)利用所述標(biāo)準(zhǔn)卷積核，對(duì)所述目標(biāo)圖像進(jìn)行池化下采樣，得到所述其他提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣。

可選地，所述其他提取子網(wǎng)絡(luò)包括第一提取子網(wǎng)絡(luò)和第二提取子網(wǎng)絡(luò)；

所述第一提取子網(wǎng)絡(luò)具體用于利用所述標(biāo)準(zhǔn)卷積核，對(duì)所述目標(biāo)圖像進(jìn)行平均值池化方式的下采樣，得到所述第一提取子網(wǎng)絡(luò)對(duì)應(yīng)的參考特征矩陣，并對(duì)所述第一提取子網(wǎng)絡(luò)對(duì)應(yīng)的參考特征矩陣進(jìn)行壓縮，得到所述第一提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣；

所述第二提取子網(wǎng)絡(luò)具體用于利用所述標(biāo)準(zhǔn)卷積核，對(duì)所述目標(biāo)圖像進(jìn)行最大值池化方式的下采樣，得到所述第二提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣；

所述融合子網(wǎng)絡(luò)將各個(gè)提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣進(jìn)行矩陣融合，包括：

所述融合子網(wǎng)絡(luò)將所述第二提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣與所述目標(biāo)提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣進(jìn)行拼接，并將所拼接的特征矩陣與所述第一提取子網(wǎng)絡(luò)對(duì)應(yīng)的特征矩陣進(jìn)行矩陣融合，得到所述目標(biāo)圖像的特征矩陣。