[發(fā)明專利]一種面向移動(dòng)端實(shí)例級(jí)圖像檢索方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210010672.5
• 申請(qǐng)日: 2022-01-06
• 公開(kāi)（公告）號(hào): CN114357219A
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 白琮;張曉青;陳勝勇
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06F16/583;G06V10/74;G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 忻明年

本發(fā)明公開(kāi)了一種面向移動(dòng)端實(shí)例級(jí)圖像檢索方法及裝置，構(gòu)建并訓(xùn)練輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型，所述輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型包括嵌入層、卷積注意力模塊、七個(gè)瓶頸塊、全連接層、卷積注意力模塊、二元自適應(yīng)均值池化層和分類器，將所述輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型最后一層分類器去除后作為特征提取器，采用特征提取器提取待檢索圖像的圖片特征，計(jì)算待檢索圖像的圖片特征與檢索數(shù)據(jù)集圖像的圖片特征的歐式距離，輸出最小歐式距離對(duì)應(yīng)的檢索數(shù)據(jù)集圖像。本發(fā)明解決了深度學(xué)習(xí)中面臨的深度神經(jīng)網(wǎng)絡(luò)模型在移動(dòng)設(shè)備中難以部署的問(wèn)題，同時(shí)也是輕量級(jí)神經(jīng)網(wǎng)絡(luò)在圖像檢索任務(wù)中的一次成功實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本申請(qǐng)屬于圖像檢索技術(shù)領(lǐng)域，尤其涉及一種面向移動(dòng)端實(shí)例級(jí)圖像檢索方法及裝置。

背景技術(shù)

基于內(nèi)容的圖像檢索，通過(guò)提取圖像的視覺(jué)信息從大量的數(shù)字圖像中快速準(zhǔn)確地檢索到用戶所需要的圖像，此項(xiàng)研究不論是在研究領(lǐng)域還是在商業(yè)用途中都具有重大價(jià)值。近些年隨著深度學(xué)習(xí)方法的快速發(fā)展，得益于深度特征對(duì)圖像內(nèi)容的精確表達(dá)，使用深度學(xué)習(xí)模型來(lái)檢索圖像取得了重大進(jìn)展。

然而，大部分卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量和參數(shù)都很大，由于存儲(chǔ)空間和功耗的限制，大多數(shù)最先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)很難部署在資源受限的移動(dòng)設(shè)備上。于是業(yè)內(nèi)提出了很多典型的輕量級(jí)神經(jīng)網(wǎng)絡(luò)，比如MobileNetV2，該網(wǎng)絡(luò)雖減少了參數(shù)和計(jì)算量，但仍存在大量冗余。

此外，目前在終端上使用深度學(xué)習(xí)模型實(shí)現(xiàn)圖像檢索還少有研究，因此，如何將基于檢索任務(wù)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到移動(dòng)端成為了一個(gè)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種面向移動(dòng)端實(shí)例級(jí)圖像檢索方法及裝置，相比于在線的圖像檢索，移動(dòng)端檢索解決了兩個(gè)問(wèn)題：一是優(yōu)化用于獲取圖像特征的神經(jīng)網(wǎng)絡(luò)，二是構(gòu)建用于移動(dòng)端圖像檢索的框架。為了克服已有的深度神經(jīng)網(wǎng)絡(luò)模型由于計(jì)算量、參數(shù)量和模型太大難以在移動(dòng)端部署的不足，本申請(qǐng)?zhí)峁┝艘环N精度更高、性能更好、更易于終端部署的輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型。為了實(shí)現(xiàn)移動(dòng)端圖像檢索，本申請(qǐng)還提供了一種基于該模型的移動(dòng)端檢索框架。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)技術(shù)方案如下：

一種面向移動(dòng)端實(shí)例級(jí)圖像檢索方法，包括：

構(gòu)建并訓(xùn)練輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型，所述輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型包括嵌入層、卷積注意力模塊、七個(gè)瓶頸塊、全連接層、卷積注意力模塊、池化層和分類器；

將所述輕量級(jí)神經(jīng)網(wǎng)絡(luò)分類模型最后一層分類器去除后作為特征提取器，采用特征提取器提取待檢索圖像的圖片特征，計(jì)算待檢索圖像的圖片特征與檢索數(shù)據(jù)集圖像的圖片特征的歐式距離，輸出最小歐式距離對(duì)應(yīng)的檢索數(shù)據(jù)集圖像。

進(jìn)一步的，所述瓶頸塊包括：第一分組卷積層、通道混洗操作層、深度卷積層、第二分組卷積層和卷積注意力模塊。

進(jìn)一步的，所述第一分組卷積層包括分組卷積、批歸一化層和激活函數(shù)。

進(jìn)一步的，所述第二分組卷積層包括分組卷積和批歸一化層。

進(jìn)一步的，所述池化層為二元自適應(yīng)均值池化層。

本申請(qǐng)還提出了一種面向移動(dòng)端實(shí)例級(jí)圖像檢索裝置，應(yīng)用于移動(dòng)終端，包括處理器以及存儲(chǔ)有若干計(jì)算機(jī)指令的存儲(chǔ)器，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述面向移動(dòng)端實(shí)例級(jí)圖像檢索方法的步驟。