[發明專利]一種基于卷積神經網絡的多模態特征融合方法及裝置

有效

• 申請號: 201811456123.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109583569B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 仲崇亮
• 申請（專利權）人: 熵基科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本發明公開了一種基于卷積神經網絡的多模態特征融合方法包括：從不同的異質圖像中提取多個模態的特征，得到每個模態的第一特征集；在多模態卷積神經網絡中，依據不同模態之間的相關性，從每個模態的第一特征集中篩選出符合預設條件的特征，得到每個模態的第二特征集；在多模態卷積神經網絡的全連接層，確定每個模態的第二特征集的權重，并依據權重將多個模態的第二特征集進行融合，以使融合后的第二特征集對用于生物特征識別的多模態卷積神經網絡進行訓練。這樣解決了現有技術中單一模態識別具有的局限性問題，提高了生物特征識別的準確度。

技術領域

本發明涉及圖像處理領域，尤其涉及一種基于卷積神經網絡的多模態特征融合方法及裝置。

背景技術

隨著科學技術的發展，生物識別技術越來越成熟，人們的生活也越來越依賴于生物特征識別技術，例如：指紋、人臉識別解鎖等功能均依賴于生物識別技術。

現有技術中，通常采用單模態的圖像特征進行生物特征識別，不同的模態可以理解為在不同場景下得到的圖像，例如可見光人臉圖像、近紅外虹膜圖像等。

但是每種模態都具有一定的局限性，若采用某一種模態訓練的識別模型，將該識別模型用于對其它模態的圖像進行識別時，會影響識別結果的準確性。因此，現在亟待需要一種可以將不同模態進行融合的方式。

發明內容

本發明實施例公開了一種基于卷積神經網絡的多模態特征融合方法、裝置及系統，解決了現有技術中單一模態識別具有的局限性問題，提高了生物特征識別的準確度。

本發明實施例公開了一種基于卷積神經網絡的多模態特征融合方法，包括：

從不同的異質圖像中提取多個模態的特征，得到每個模態的第一特征集；

在多模態卷積神經網絡中，依據不同模態之間的相關性，從每個模態的第一特征集中篩選出符合預設條件的特征，得到每個模態的第二特征集；

在多模態卷積神經網絡的全連接層，確定每個模態的第二特征集的權重，并依據所述權重將多個模態的第二特征集進行融合，以使融合后的第二特征集對用于生物特征識別的多模態卷積神經網絡進行訓練。

可選的，所述異質圖像包括：

可見光人臉圖像、近紅外人臉圖像、可見光虹膜圖像、近紅外虹膜圖像，其中，每一種圖像對應一種模態。

可選的，在所述異質圖像為近紅外人臉圖像或者可見光人臉圖像的情況下，所述從不同的異質圖像中提取多個模態的特征，包括：

對輸入的所述可見光人臉圖像或者近紅外人臉圖像進行檢測，得到人臉的位置信息和關鍵點的位置信息；

對輸入的所述可見光人臉圖像或者近紅外人臉圖像進行預處理；

將預處理后的所述近紅外人臉圖像或者可見光人臉圖像輸入到已訓練的的人臉圖像特征提取模型中，提取近紅外光下的人臉特征或者可見光下的人臉特征。

可選的，在所述異質圖像為可見光虹膜圖像或者近紅外虹膜圖像的情況下，所述從不同的異質圖像中提取多個模態的特征，包括：

分別采用第一方式和第二方式提取所述可見光虹膜圖像或者近紅外虹膜圖像中雙眼的相關性特征，得到第一目標特征集和第二目標特征集；

依據第一目標特征集和第二目標特征集的互補性，從第一目標特征集和第二目標特征集中提取虹膜的深度特征。

可選的，所述依據不同模態之間的相關性，從每個模態的第一特征集中篩選出符合預設條件的特征，包括：

分別從每個模態的第一特征集中篩選出具有最大化類間差異和最小化類內差異的特征，得到每個模態的第三特征集；

通過多元變量回歸模型對每個模態的第三特征集進行分析，得到每個模態的第二特征集。