[發明專利]跨模態人臉識別的方法、裝置、設備和存儲介質

有效

• 申請號: 202011027564.6
• 申請日: 2020-09-25
• 公開（公告）號: CN112016523B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 田飛
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06N20/20
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種跨模態人臉識別的方法，包括：

針對至少兩種模態中的每一種模態，采用樣本用戶的該種模態的人臉圖像數據對人臉識別模型進行單模態訓練；

采用樣本用戶的所述至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練；其中，單模態訓練過程與跨模態訓練過程共享模型參數；

將經單模態訓練和跨模態訓練的人臉識別模型，作為待使用的跨模態人臉識別模型；

其中，所述采用樣本用戶的所述至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練，包括：

對所述樣本用戶的至少兩種模態的人臉圖像數據進行插值處理，得到處理后的每一種模態的人臉圖像數據；其中，所述處理后的每一種模態的人臉圖像數據包括該模態被處理前的人臉圖像數據以及至少兩種模態中其他模態被處理前的人臉圖像數據；

采用處理后的至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練；

其中，所述對所述樣本用戶的至少兩種模態的人臉圖像數據進行插值處理，得到處理后的每一種模態的人臉圖像數據，包括：

為樣本用戶生成插值系數；其中，所述插值系數是指插值處理過程中被處理模態的維持比重，所述插值系數的均值為固定數值；

根據所述樣本用戶的每一種模態的人臉圖像數據、所述插值系數和其他模態的人臉圖像數據，確定處理后的該模態的人臉圖像數據。

2.根據權利要求1所述的方法，其中，所述采用樣本用戶的所述至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練，包括：

在跨模態訓練過程中，將每一種模態的人臉圖像數據作為所述人臉識別模型的輸入，得到所述人臉識別模型輸出的該種模態特征；

基于預先構建的特征分類器，將至少兩種模態特征作為所述特征分類器的輸入，得到所述特征分類器輸出的跨模態特征距離；

根據所述跨模態特征距離，對所述人臉識別模型進行訓練。

3.根據權利要求2所述的方法，還包括：

將每一種模態的人臉圖像數據作為所述人臉識別模型的輸入，得到所述人臉識別模型輸出的該種模態特征；

根據至少兩種模態特征對所述特征分類器進行訓練，使所述特征分類器對不同模態特征進行分類。

4.根據權利要求1-3中任一項所述的方法，其中，所述至少兩種模態的樣本數據量不同。

5.一種跨模態人臉識別的裝置，包括：

單模態訓練模塊，用于針對至少兩種模態中的每一種模態，采用樣本用戶的該種模態的人臉圖像數據對人臉識別模型進行單模態訓練；

跨模態訓練模塊，用于采用樣本用戶的所述至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練；其中，單模態訓練過程與跨模態訓練過程共享模型參數；

模型確定模塊，用于將經單模態訓練和跨模態訓練的人臉識別模型，作為待使用的跨模態人臉識別模型；

其中，所述跨模態訓練模塊包括：

圖像插值單元，用于對所述樣本用戶的至少兩種模態的人臉圖像數據進行插值處理，得到處理后的每一種模態的人臉圖像數據；其中，所述處理后的每一種模態的人臉圖像數據包括該模態被處理前的人臉圖像數據以及至少兩種模態中其他模態被處理前的人臉圖像數據

跨模態訓練單元，用于采用處理后的至少兩種模態的人臉圖像數據，對所述人臉識別模型進行跨模態訓練；

其中，所述圖像插值單元包括：

插值系數子單元，用于為樣本用戶生成插值系數；其中，所述插值系數是指插值處理過程中被處理模態的維持比重，所述插值系數的均值為固定數值；

圖像插值單元，用于根據所述樣本用戶的每一種模態的人臉圖像數據、所述插值系數和其他模態的人臉圖像數據，確定處理后的該模態的人臉圖像數據。