[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征融合方法及裝置

有效

• 申請?zhí)枺?/td>: 201811456123.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109583569B
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 仲崇亮
• 申請（專利權(quán)）人: 熵基科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/00
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征融合方法，其特征在于，包括：

從不同的異質(zhì)圖像中提取多個(gè)模態(tài)的特征，得到每個(gè)模態(tài)的第一特征集；所述異質(zhì)圖像包括：可見光人臉圖像、近紅外人臉圖像、可見光虹膜圖像、近紅外虹膜圖像，其中，每一種圖像對應(yīng)一種模態(tài)；

在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)中，依據(jù)不同模態(tài)之間的相關(guān)性，從每個(gè)模態(tài)的第一特征集中篩選出符合預(yù)設(shè)條件的特征，得到每個(gè)模態(tài)的第二特征集；

在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，確定每個(gè)模態(tài)的第二特征集的權(quán)重，并依據(jù)所述權(quán)重將多個(gè)模態(tài)的第二特征集進(jìn)行融合，以使融合后的第二特征集對生物特征識別的多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

所述依據(jù)不同模態(tài)之間的相關(guān)性，從每個(gè)模態(tài)的第一特征集中篩選出符合預(yù)設(shè)條件的特征，包括：

分別從每個(gè)模態(tài)的第一特征集中篩選出具有最大化類間差異和最小化類內(nèi)差異的特征，得到每個(gè)模態(tài)的第三特征集；

通過多元變量回歸模型對每個(gè)模態(tài)的第三特征集進(jìn)行分析，得到每個(gè)模態(tài)的第二特征集；

其中，將不同模態(tài)的第三特征集中具有相關(guān)性的特征點(diǎn)之間的距離近似等于同類樣本具有相關(guān)性的特征點(diǎn)之間的距離；所述同類樣本表示同質(zhì)的樣本。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述異質(zhì)圖像為近紅外人臉圖像或者可見光人臉圖像的情況下，所述從不同的異質(zhì)圖像中提取多個(gè)模態(tài)的特征，包括：

對輸入的所述可見光人臉圖像或者近紅外人臉圖像進(jìn)行檢測，得到人臉的位置信息和關(guān)鍵點(diǎn)的位置信息；

對輸入的所述可見光人臉圖像或者近紅外人臉圖像進(jìn)行預(yù)處理；

將預(yù)處理后的所述近紅外人臉圖像或者可見光人臉圖像輸入到已訓(xùn)練的的人臉圖像特征提取模型中，提取近紅外光下的人臉特征或者可見光下的人臉特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述異質(zhì)圖像為可見光虹膜圖像或者近紅外虹膜圖像的情況下，所述從不同的異質(zhì)圖像中提取多個(gè)模態(tài)的特征，包括：

分別采用第一方式和第二方式提取所述可見光虹膜圖像或者近紅外虹膜圖像中雙眼的相關(guān)性特征，得到第一目標(biāo)特征集和第二目標(biāo)特征集；依據(jù)第一目標(biāo)特征集和第二目標(biāo)特征集的互補(bǔ)性，從第一目標(biāo)特征集和第二目標(biāo)特征集中提取虹膜的深度特征。

4.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征融合裝置，其特征在于，包括：

多模態(tài)特征提取單元，用于從不同的異質(zhì)圖像中提取多個(gè)模態(tài)的特征，得到每個(gè)模態(tài)的第一特征集；所述異質(zhì)圖像包括：可見光人臉圖像、近紅外人臉圖像、可見光虹膜圖像、近紅外虹膜圖像，其中，每一種圖像對應(yīng)一種模態(tài)；

篩選單元，用于在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)中，依據(jù)不同模態(tài)之間的相關(guān)性，從每個(gè)模態(tài)的第一特征集中篩選出符合預(yù)設(shè)條件的特征，得到每個(gè)模態(tài)的第二特征集；

融合單元，用于在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，確定每個(gè)模態(tài)的第二特征集的權(quán)重，并依據(jù)所述權(quán)重將多個(gè)模態(tài)的第二特征集進(jìn)行融合，以使融合后的第二特征集對用于生物特征識別的多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

所述篩選單元，包括：

篩選子單元，用于分別從每個(gè)模態(tài)的第一特征集中篩選出具有最大化類間差異和最小化類內(nèi)差異的特征，得到每個(gè)模態(tài)的第三特征集；

分析子單元，用于通過多元變量回歸模型對每個(gè)模態(tài)的第三特征集進(jìn)行分析，得到每個(gè)模態(tài)的第二特征集；

其中，將不同模態(tài)的第三特征集中具有相關(guān)性的特征點(diǎn)之間的距離近似等于同類樣本具有相關(guān)性的特征點(diǎn)之間的距離；所述同類樣本表示同質(zhì)的樣本。

5.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征融合系統(tǒng)，其特征在于，包括：

采集端和數(shù)據(jù)處理端；

所述采集端，用于獲取表示不同模態(tài)的異質(zhì)圖像；所述異質(zhì)圖像包括：可見光人臉圖像、近紅外人臉圖像、可見光虹膜圖像、近紅外虹膜圖像，其中，每一種圖像對應(yīng)一種模態(tài)；

所述數(shù)據(jù)處理端，用于從不同的異質(zhì)圖像中提取多個(gè)模態(tài)的特征，得到每個(gè)模態(tài)的第一特征集；

在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)中，依據(jù)不同模態(tài)之間的相關(guān)性，從每個(gè)模態(tài)的第一特征集中篩選出符合預(yù)設(shè)條件的特征，得到每個(gè)模態(tài)的第二特征集；

在多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，確定每個(gè)模態(tài)的第二特征集的權(quán)重，并依據(jù)所述權(quán)重將多個(gè)模態(tài)的第二特征集進(jìn)行融合，以使融合后的第二特征集對用于生物特征識別的多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

所述依據(jù)不同模態(tài)之間的相關(guān)性，從每個(gè)模態(tài)的第一特征集中篩選出符合預(yù)設(shè)條件的特征，包括：

分別從每個(gè)模態(tài)的第一特征集中篩選出具有最大化類間差異和最小化類內(nèi)差異的特征，得到每個(gè)模態(tài)的第三特征集；

通過多元變量回歸模型對每個(gè)模態(tài)的第三特征集進(jìn)行分析，得到每個(gè)模態(tài)的第二特征集；

其中，將不同模態(tài)的第三特征集中具有相關(guān)性的特征點(diǎn)之間的距離近似等于同類樣本具有相關(guān)性的特征點(diǎn)之間的距離；所述同類樣本表示同質(zhì)的樣本。