[發明專利]基于數據可靠性評價的非接觸式負性心境檢測方法和裝置

有效

• 申請號: 202110604875.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113326780B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 戎千;丁帥;李霄劍;歐陽波;宋程;岳子杰
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/774;G06V10/764;G06V10/80
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

本發明提供了一種基于數據可靠性評價的非接觸式負性心境檢測方法和裝置，涉及負性心境檢測技術領域。本發明實施例根據可見光圖像和熱紅外圖像數據的質量評價方法，設計了多模態數據可靠性評估機制，計算雙模態數據的動態可靠性、靜態可靠性以及每個模態數據的總體可靠性，同時還構建了多模態數據融合網絡提取雙模態數據特征，并在特征融合層基于數據可靠性進行雙模態數據特征融合，用于端到端的檢測負性心境狀態。相比于傳統的特征拼接方式，基于數據可靠性評價的特征融合方式能夠有效區分不同模態數據對于負性心境檢測的重要性，增強模型的魯棒性。

技術領域

本發明涉及負性心境檢測技術領域，具體涉及一種基于數據可靠性評價的非接觸式負性心境檢測方法和裝置。

背景技術

心境是一種內在的、主觀的、不易被特定事件刺激的較持久而又微弱的情緒狀態。心境分為積極心境和消極心境，消極心境主要包括緊張、壓抑、憤怒、疲勞等方面。

由于人類會同時存在多種心境狀態，目前的基于面部特征的心境狀態識別研究是對于單一負性心境狀態的識別，如抑郁心境狀態、焦慮心境狀態、壓力心境狀態等等，

目前的負性心境檢測在數據特征融合時，特征向量拼接融合方法未能夠考慮數據的可靠性，無法有效區分不同模態數據對于負性心境檢測的重要性，模型的魯棒性不高。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于數據可靠性評價的非接觸式負性心境檢測方法和裝置，解決了目前的特征向量拼接融合方法未能夠考慮數據的可靠性的問題。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：

第一方面，提供了一種基于數據可靠性評價的非接觸式負性心境檢測方法，其特征在于，該方法包括：

獲取被測者的人臉雙光視頻；所述人臉雙光視頻包括可見光人臉視頻和熱紅外人臉視頻；

基于人臉雙光視頻提取兩通道人臉圖像序列，所述兩通道人臉圖像序列包括可見光人臉圖像序列V_ij和熱紅外人臉圖像序列T_ij；其中，i表示每種負性心境狀態的第i個視頻，j表示每個視頻的第j張圖像；

分別計算每種負性心境狀態的各個通道人臉圖像序列的靜態可靠性和動態可靠性，并基于靜態可靠性和動態可靠性計算總體可靠性；

將可見光人臉圖像序列和熱紅外人臉圖像序列輸入每種負性心境狀態對應的負性心境狀態識別網絡，提取出每種負性心境狀態對應的兩通道特征向量，并基于每種負性心境狀態的可見光人臉圖像序列的總體可靠性和熱紅外人臉圖像序列的總體可靠性對兩通道特征向量進行加權，并進行加法操作，得到每種負性心境狀態的加權融合后的最終描述符Z，對最終描述符Z降維后輸出每種負性心境狀態對應的檢測結果。

進一步的，所述分別計算每種負性心境狀態的各個通道人臉圖像序列的靜態可靠性和動態可靠性，并基于靜態可靠性和動態可靠性計算總體可靠性，包括：

將每個通道人臉圖像序列的召回率R作為每個通道人臉圖像序列對應的靜態可靠性；

對于每個通道人臉圖像序列，基于感知的圖像質量評價方法逐張計算每張圖像質量，得到每個通道人臉圖像序列的圖像質量平均值將圖像質量平均值作為每個通道人臉圖像序列對應的動態可靠性；

且每個通道人臉圖像序列的總體可靠性TDR為：