[發明專利]一種基于深度卷積神經網絡的大規模圖像分類方法

在審

• 申請號: 201910851853.9
• 申請日: 2019-09-10
• 公開（公告）號: CN110728352A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 張萌;李嬌杰;李國慶;呂鋒;段斌
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 32204 南京蘇高專利商標事務所(普通合伙)
• 代理人: 徐紅梅

本發明公開了一種基于深度卷積神經網絡的大規模圖像分類方法，包括將大規模圖像數據集分為訓練圖像集和測試圖像集；使用標準卷積操作對訓練圖像集進行卷積操作，得到標準卷積后的圖像；對得到的標準卷積后的圖像采用PSD卷積進行操作，得到PSD卷積后的圖像；將得到的PSD卷積后的圖像經過全局平均池化層，得到1×1的輸出特征圖像；將得到的1×1的輸出特征圖像通過全連接層，最后接入一個歸一化指數函數層完成對訓練圖像的分類，即得到PSDNet卷積神經網絡模型。將測試圖像集中的圖像輸入得到的PSDNet卷積神經網絡模型中，完成圖像分類。本發明測試結果有明顯的提高。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于深度卷積神經網絡的大規模圖像分類方法。

背景技術

卷積神經網絡(CNN)由人工神經網絡發展而來，獨特的權值共享的結構減小了網絡的規模，更容易訓練。由于圖像平移、縮放和旋轉的不變性，卷積神經網絡廣泛應用于圖像識別領域。卷積神經網絡對圖像的平移，縮放，旋轉等形式的變形具有高度的適應性，在圖像識別和目標檢測等領域應用廣泛，如微軟利用卷積神經網絡做阿拉伯文和中文的手寫識別系統，谷歌使用卷積神經網絡來識別街景圖片中的人臉和車牌等等。

CNN的性能正在迅速提高：ImageNet挑戰的獲勝者將分類準確率從2012年AlexNet的84.7％提高到ResNet-152的96.5％。然而，精度的提高是以高計算復雜度為代價的。例如，AlexNet需要1.4×10¹⁰FLOPs來處理單個224×224圖像，ResNet-152需要2.26×10¹¹FLOPs。在移動嵌入式設備端，一個最主要的挑戰在于大量的運算需要過多的硬件資源并且功耗巨大。

為了解決與計算能力相關的這一系列問題，已經有大量的研究試圖優化它們的性能。

這些研究工作可以分為兩種：使用預先訓練的模型壓縮現有網絡結構，以及設計新的高效的網絡結構，這些結構將從頭開始訓練。模型壓縮方法通常基于傳統的壓縮技術，如哈希(hashing)、赫夫曼編碼(Huffman coding)、因式分解(factorization)、剪枝(pruning)和模型量化(quantization)。

實際上，第二種方法比第一種方法更早地被研究。GoogLeNet中提出了Inception模塊，希望在不增加模型大小和計算成本的情況下構建更深的網絡結構，然后在Inception模塊中通過分解卷積進一步改進。深度可分離卷積(Depthwise separable Convolution，DWConvolution)更加體現因式分解的思想，將標準卷積分解為深度卷積(Depthwiseconvolution)，再用1×1卷積核進行常規卷積。MobileNet為基于DW Convolution的移動設備設計了卷積神經網絡，該操作能夠以較少的參數獲得了較好的結果。本發明主要使用深度卷積來進一步提高參數效率。

發明內容

發明目的：提供了一種基于深度卷積神經網絡的大規模圖像分類方法，改變了常見大規模圖像分類神經網絡結構，減少了網絡參數，并且降低了計算成本，提高了大規模圖像分類測試準確率。

本發明的一種基于深度卷積(depthwise convolution)神經網絡的大規模圖像分類方法，提出適合對大規模圖像進行精準分類的PSDNet卷積塊(Pointwise-Standard-Depthwise)，輸入的未經處理的圖像依次通過1×1標準卷積(pointwise convolution)層、3×3標準卷積層，最后通過3×3深度卷積層，得到經過卷積處理的特征圖像，并且PSDNet卷積塊也使用快捷連接(shortcut connections)對輸入圖像進行恒等映射，在每一個卷積層之前都對圖像進行批量歸一化(Batch Normalization)處理以及非線性函數激活處理。

技術方案：為實現上述發明目的，本發明采用以下技術方案：