[發明專利]一種基于多尺度多層次融合的圖像分類方法

有效

• 申請號: 202010932190.6
• 申請日: 2020-09-08
• 公開（公告）號: CN112163599B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 萬玉釵;劉峽壁;王穆榮;鄭中樞;朱正;趙心明
• 申請（專利權）人: 北京工商大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/0464
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 代麗;郭德忠

本發明公開了一種基于多尺度多層次融合的圖像分類方法，通過對輸入圖像進行尺度變換，將多尺度圖像作為輸入，能夠提取圖像的全局和局部特征，形成對圖像目標的全面描述，然后對圖像的多個尺度的描述特征進行多層次的融合，得到最終的分類識別結果，即從多尺度圖像描述和多層次信息融合方面出發，有效提高了卷積神經網絡圖像分類器的分類性能。

技術領域

本發明屬于模式識別、深度學習及人工智能技術領域，具體涉及一種基于多尺度多層次融合的圖像分類方法。

背景技術

隨著計算機技術的發展，深度學習方法受到越來越多研究者的關注，其在圖像分類、視頻分析、自然語言處理等領域取得了較大的突破和進展。卷積神經網絡(Convolutional?Neural?Network,CNN)是深度學習中一種經典而廣泛采用的神經網絡結構，一般由卷積層、池化層、全連接層等組成。卷積神經網絡的局部連接、權值共享及池化操作等特性使之可以有效地降低網絡的復雜度，且也易于訓練和優化。

在圖像識別和分類領域，卷積神經網絡一般有兩種應用模式：一類是特征提取器，該模式基于卷積神經網絡提取圖像的抽象視覺特征，并將該特征作為其他算法的輸入進行計算。相比于傳統的人工設計特征，基于卷積神經網絡提取的視覺特征具有更好的描述能力，這得益于神經網絡的較大參數空間和自動學習能力。另一類是端到端的分類模型，該模式為卷積神經網絡在圖像識別領域較常采用的模式，其將圖像整體作為卷積神經網絡的輸入，經過計算后，在輸出層輸出圖像的分類識別結果。相比于傳統的圖像分類方法，基于卷積神經網絡進行圖像分類的方法在分類準確率等方面上帶來了較大提升，受到了廣泛關注。

綜上所述，目前已有的基于卷積神經網絡進行圖像分類的算法大多將圖像本身輸入卷積神經網絡進行分析，僅在圖像特征層次進行融合，不能全面利用圖像的分類信息，因而，導致了分類的準確率等性能依然沒有較大提高，圖像的分類結果不能完全令人滿意。

發明內容

有鑒于此，本發明提供了一種基于多尺度多層次融合的圖像分類方法，能夠實現圖像的準確分類。

本發明提供的基于多尺度多層次融合的圖像分類方法，包括以下步驟：

步驟1、將待分類圖像表示為多個具有不同尺度的圖像，將不同尺度的圖像分別輸入相應的基于卷積神經網絡的尺度分類器，得到所述待分類圖像的多個尺度分類決策結果；

步驟2、將所述尺度分類器提取的視覺特征進行串接形成融合特征，將所述融合特征作為基于卷積神經網絡的特征融合分類器的輸入層；根據所述融合特征對分類識別的貢獻，確定所述特征融合分類器的全連接層的權值；所述特征融合分類器的輸出層為所述待分類圖像的特征融合分類決策結果；

步驟3、采用證據理論，根據所述尺度分類決策結果及特征融合分類決策結果計算尺度分類器及特征融合分類器的基本概率分配函數m(·)，如下式所示：

其中，acc_i表示尺度分類器或特征融合分類器i在整個數據集上的平均分類準確率；1-acc_i表示分類器的不確定性；為尺度分類器或特征融合分類器i的輸出，表示尺度分類器或特征融合分類器i將圖像j歸類為C_s類圖像的概率，n為圖像類型的總數，Θ為相互獨立的有窮集合；

根據所述基本概率分配函數計算沖突系數，當沖突系數小于設定閾值時，融合所述尺度分類決策結果及特征融合分類決策結果得到最終分類決策結果；當沖突系數大于閾值時，計算所述尺度分類器及特征融合分類器的置信度，將置信度最高的分類器的輸出作為最終分類決策結果。

進一步地，所述不同尺度的圖像包括尺寸由小到大的三個尺度的圖像。