[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)的圖像分類識別方法

有效

• 申請?zhí)枺?/td>: 201910068380.5
• 申請日: 2019-01-24
• 公開（公告）號: CN109840556B
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計）人: 李紅;呂攀;夏瑤;楊國青;吳朝暉
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/32;G06N3/04
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 王琛

本發(fā)明公開了一種基于孿生網(wǎng)絡(luò)的圖像分類識別方法，該方法通過Hash編碼進(jìn)行重復(fù)性檢驗、邊界框預(yù)測及仿射變換等預(yù)處理簡化且提高數(shù)據(jù)集質(zhì)量，然后通過Hash編碼遍歷測試集與訓(xùn)練集，依次組合成匹配與不匹配圖片對，交替輸入孿生分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練擬合，最終實現(xiàn)相同種類分類為相同，不同種類的圖片可有效區(qū)分的分類效果。本發(fā)明彌補了早前的深度學(xué)習(xí)分類方法在測試集多于訓(xùn)練集且類別數(shù)據(jù)不平衡時的預(yù)測準(zhǔn)確率較低的缺點，解決了實際場景中分類數(shù)據(jù)不平衡、測試集多于訓(xùn)練集且整體規(guī)模較小的問題。此外，本發(fā)明通過對圖片數(shù)據(jù)編碼，分析出匹配與不匹配圖片對，不僅提高了孿生分類網(wǎng)絡(luò)的準(zhǔn)確性，還為實際場景中的圖片分類提供良好范例。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，具體涉及一種基于孿生網(wǎng)絡(luò)的圖像分類識別方法。

背景技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，計算機視覺成為深度學(xué)習(xí)領(lǐng)域最熱門的研究方向之一；作為計算機視覺的關(guān)鍵組成部分，圖像分類、定位和檢測的最新進(jìn)展極大地推動了視覺識別系統(tǒng)的進(jìn)步。但其中圖像分類問題經(jīng)常需要面臨以下幾個挑戰(zhàn)：視點變化、尺度變化、類內(nèi)變化、圖像變形、圖像遮擋、照明條件和背景雜斑等。

目前常用的圖像分類識別的方法大致流程為讀取圖片，生成批次并打亂樣本數(shù)據(jù)，然后構(gòu)造圖像分類識別模型，接著訓(xùn)練參數(shù)，直到圖像分類識別模型到達(dá)穩(wěn)定，最后保存圖像分類識別模型，以便對相關(guān)圖像進(jìn)行識別。常用的分類網(wǎng)絡(luò)采用VGGNet、ResNet、GoogleNet等網(wǎng)絡(luò)架構(gòu)，有效的解決了識別準(zhǔn)確率低、過擬合等問題，并且這些算法在圖像識別分類上有明顯的改善，而且相對于層數(shù)較多模型復(fù)雜的算法如GoogleNet、R-CNN等更加容易實現(xiàn)，因此在實際應(yīng)用中更實用，稍加改變則實現(xiàn)各種圖像的分類識別。

但是在實際生活中，由于對圖片進(jìn)行標(biāo)注具有一定成本，因此可能會出現(xiàn)有標(biāo)簽的訓(xùn)練數(shù)據(jù)集大小小于測試集的情況，并且同一類別圖片的尺寸比例多樣，大小不一，此時若依舊采用上述常用的分類網(wǎng)絡(luò)框架并不能達(dá)到理想效果。

例如公開號為CN108846421A的中國專利提出了一種基于深度學(xué)習(xí)的圖像分類方法，采用了改進(jìn)版Alexnet分類網(wǎng)絡(luò)，但AlexNet總共只包含8層，面對訓(xùn)練數(shù)據(jù)集小且尺寸不一時擬合效果有限。又如公開號為CN108647723A的中國專利提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的圖像分類方法，利用ResNext模型與Softmax訓(xùn)練，并采用現(xiàn)有公開數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，但面對實際復(fù)雜數(shù)據(jù)集時，不進(jìn)行專門數(shù)據(jù)預(yù)處理，只采用微調(diào)法訓(xùn)練，并嚴(yán)重依賴公開的標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練后的模型，效果依舊欠佳。由此可見，單純的監(jiān)督方法對數(shù)據(jù)集的大小具有嚴(yán)重依賴性，且對測試結(jié)果具有較大影響。

發(fā)明內(nèi)容

鑒于上述，本發(fā)明提供了一種基于孿生網(wǎng)絡(luò)的圖像分類識別方法，該方法通過Hash編碼進(jìn)行重復(fù)性檢驗、邊界框預(yù)測及仿射變換等預(yù)處理簡化且提高數(shù)據(jù)集質(zhì)量，然后通過上述Hash編碼遍歷測試集與訓(xùn)練集，依次組合成匹配與不匹配圖片對，交替輸入孿生分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練擬合，最終實現(xiàn)相同種類分類為相同，不同種類的圖片可有效區(qū)分的分類效果。

一種基于孿生網(wǎng)絡(luò)的圖像分類識別方法，包括如下步驟：

(1)獲取圖片數(shù)據(jù)庫，采用增強版感知哈希算法為其中每張圖片進(jìn)行編碼，并將所有圖片分為訓(xùn)練集和測試集且訓(xùn)練集圖片帶有類別標(biāo)簽；

(2)根據(jù)Hash編碼進(jìn)行重復(fù)圖片檢驗：若訓(xùn)練集中存在圖片重復(fù)，則剔除多余的重復(fù)圖片；若訓(xùn)練集中圖片與測試集中圖片存在重復(fù)，則使訓(xùn)練集中對應(yīng)圖片的類別標(biāo)簽賦予測試集中對應(yīng)的圖片；

(3)利用預(yù)訓(xùn)練的邊界框檢測模型，從每張圖片中提取ROI(感興趣目標(biāo)區(qū)域)并將其置于圖片中心；

(4)通過遍歷訓(xùn)練集與測試集中所有圖片組合得到一定數(shù)量的匹配組和不匹配組，所述匹配組包含兩張分屬于訓(xùn)練集和測試集的圖片且兩者重復(fù)，所述匹配組包含兩張分屬于訓(xùn)練集和測試集的圖片且兩者不重復(fù)；