[發明專利]平行多通道卷積神經網絡、構建方法及圖像特征提取方法

有效

• 申請號: 201711472297.1
• 申請日: 2017-12-29
• 公開（公告）號: CN108182441B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 喻莉;謝存煌
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

本發明公開了一種平行多通道卷積神經網絡、構建方法及圖像特征提取方法，涉及機器學習技術領域。由于Kinect等深度傳感器的廣泛使用，多模態圖像的獲取將會更加便利。因此，基于多模態圖像信息的特征提取研究具有十分重要的意義。本發明首先針對多模態圖像的各個通道建立子模態卷積神經網絡模型，提取各個模態深度特征向量。為了獲得具有統一性質的多模態圖像特征，各模態子網絡在特定的全連接層建立權重連接。在多層子網絡的全連接部分，多模態深度特征向量根據權重配比融合成包含各模態信息的融合特征向量，再經多層網絡的訓練得到維度更低、表現力更好的特征表示。根據本發明得到的特征表示可以用于識別、分類等相關領域。

技術領域

本發明屬于機器學習領域，更具體地，涉及一種平行多通道卷積神經網絡及其構建方法以及基于平行多通道卷積神經網絡的多模態圖像特征提取方法。

背景技術

計算機視覺和圖像處理領域中，我們通過測量可以得到識別或分類對象的原始表征信息。這種原始表征信息可以通過直接測量得到，所以被稱為原始特征，如數字圖像中每點的灰度值。原始特征易于被人的直覺所感知，但不常用于模式識別中。其原因主要包括三點：一是原始特征不能反映對象的本質特征；二是原始特征有時難以定量描述，不利于機器判別；三是高維的原始特征有大量的冗余信息，且對于有限的訓練樣本而言，高維特征在原始特征空間中分布十分稀疏。這三個原因導致基于原始特征設計的分類器計算量龐大且精度過低。針對原始特征的特性與不足，我們通常需要對測量得到的原始特征進行分析、選擇和變換處理，組成更有效的特征表示。針對原始數據集進行特征提取的方案設計成為計算機視覺領域中十分重要的問題。

在早期的識別、分類等領域的計算機視覺方案中，特征提取主要基于彩色圖像進行。彩色圖像通過單攝像機采集得到，通過一系列的圖像處理技術得到最終的特征表示。但是基于RGB彩色圖像提取的特征表示在真實應用中，普遍受到環境光照、背景復雜度等因素的制約，使得設計相關分類器的難度提高，精度也無法得到保證。近年來，隨著Kinect等深度攝像機的出現，為上述問題提供了新的解決思路。Kinect傳感器能夠在獲取紋理信息的同時捕捉得到場景的深度信息，即可獲取三維空間信息。獲取得到的場景深度信息以深度圖像的形式給出。結合深度信息的特征提取方案可以顯著降低光照和復雜背景的影響，極大提高了在檢索、識別和分類等復雜任務中的魯棒性和準確性。因此，利用RGB-D等多模態圖像信息的特征提取方案已成為一個新的研究方向。

利用多模態信息的關鍵在于如何將各形態信息有效的結合在一起，從而形成一個統一的特征表達形式。目前，對于多模態信息的利用主要是通過對各個圖像形態提取傳統的手工特征，如尺度不變特征變換(Scale-invariant feature transform，SIFT)、方向梯度直方圖(Histogram of Oriented Gradient，HOG)等。最后，將這些經過單獨提取的多模態特征作為分類器的訓練輸入。這種方案在多模態的處理上較為簡單，對于多模態圖像特征的提取過程相對獨立，無法獲得真正有效的融合特征表示。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種RGB-D多模態圖像特征提取方法及系統，由此解決目前對于多模態信息的利用主要是通過對各個圖像形態提取傳統的手工特征而存在的無法獲得真正有效的融合特征表示的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種平行多通道卷積神經網絡的構建方法，包括：

對于預設多模態數據庫中的各模態圖像，構建與各模態圖像對應的子模態卷積神經網絡模型，并通過各子模態卷積神經網絡模型提取各模態圖像對應的深度特征向量；

在每個子模態卷積神經網絡模型的目標全連接層，將各子模態卷積神經網絡模型所提取的深度特征向量進行連接并分配連接權重系數得到包含各模態圖像信息的融合特征向量，以構建初始平行多通道卷積神經網絡模型；

將訓練數據集送入所述初始平行多通道卷積神經網絡模型中，對所述初始平行多通道卷積神經網絡模型中的訓練參數進行初次優化訓練；