[發明專利]多模融合表情智能感知方法與系統

在審

• 申請號: 202211501478.3
• 申請日: 2022-11-28
• 公開（公告）號: CN115862099A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 方璐;董眾;戴瓊海;李曉飛;袁肖赟;林浩哲;肖京;曾凡濤
• 申請（專利權）人: 清華大學;平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/80
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

1.一種多模融合表情智能感知方法，其特征在于，包括：

獲取待測人臉圖像；

將所述待測人臉圖像輸入至目標多模融合表情智能感知模型中，得到至少一種表情對應的輸出預測分數集合；

根據所述輸出預測分數集合，確定所述待測人臉圖像對應的表情感知結果。

2.根據權利要求1所述的方法，其特征在于，在所述將所述待測人臉圖像輸入至目標多模融合表情智能感知模型中之前，還包括：

獲取初始訓練數據集，其中，所述初始訓練數據集包括至少一張人臉圖像；

對所述初始訓練數據集進行預處理，得到目標訓練數據集；

利用所述目標訓練數據集對初始多模融合表情智能感知模型進行訓練，得到目標多模融合表情智能感知模型。

3.根據權利要求2所述的方法，其特征在于，所述對所述初始訓練數據集進行預處理，得到目標訓練數據集，包括：

對所述初始訓練數據集中至少一張人臉圖像進行人臉定位，得到所述至少一張人臉圖像對應的至少一個人臉檢測定位結果；

根據所述至少一個人臉檢測定位結果，對所述至少一張人臉圖像進行數據增強，得到至少一張數據增強后的人臉圖像；

確定所述至少一張數據增強后的人臉圖像對應的眼部區域數據集、嘴部區域數據集以及面部整體數據集；

根據所述眼部區域數據集、所述嘴部區域數據集以及所述面部整體數據集，確定所述目標訓練數據集。

4.根據權利要求3所述的方法，其特征在于，所述數據增強方式包括以下至少一種：

小角度隨機旋轉；

水平翻轉；

平移；

裁剪。

5.根據權利要求3所述的方法，其特征在于，所述確定所述至少一張數據增強后的人臉圖像對應的眼部區域數據集、嘴部區域數據集以及面部整體數據集，包括：

將所述至少一張數據增強后的人臉圖像旋轉至目標角度，得到所述面部整體數據集；

對所述面部整體數據集中至少一張面部整體圖像進行遮罩，得到所述眼部區域數據集和所述嘴部區域數據集。

6.根據權利要求1所述的方法，其特征在于，所述將所述待測人臉圖像輸入至目標多模融合表情智能感知模型中，得到至少一種表情對應的輸出預測分數集合，包括：

將所述待測人臉圖像分別輸入至所述目標多模融合表情智能感知模型中至少一種表情判別分支，得到至少一種表情對應的輸出預測分數集合。

7.根據權利要求6所述的方法，其特征在于，所述表情判別分支包括三個分類器通路，所述將所述待測人臉圖像分別輸入至所述目標多模融合表情智能感知模型中至少一種表情判別分支，得到至少一種表情對應的輸出預測分數集合，包括：

將所述待測人臉圖像分別輸入至至少一種表情判別分支中的任一表情判別分支對應的三個分類器通路中，得到所述待測人臉圖像對應的三個概率分數；

根據所述三個分類器通路對應的活躍參數，對所述三個概率分數進行加權拼接，得到所述任一表情判別分支對應的輸出預測分數，以得到所述至少一種表情對應的輸出預測分數集合。

8.一種多模融合表情智能感知系統，其特征在于，包括：

圖像獲取單元，用于獲取待測人臉圖像；

集合獲取單元，用于將所述待測人臉圖像輸入至目標多模融合表情智能感知模型中，得到至少一種表情對應的輸出預測分數集合；

結果確定單元，用于根據所述輸出預測分數集合，確定所述待測人臉圖像對應的表情感知結果。

9.一種終端，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-7中任一項所述的方法。

10.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據權利要求1-7中任一項所述的方法。