[發(fā)明專利]基于多模態(tài)特征的測謊數(shù)據(jù)處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110333041.2
• 申請日: 2021-03-29
• 公開（公告）號: CN113080969B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 陳貞翔;王有冕;姜曉慶;楊倩;鄭永強(qiáng)
• 申請（專利權(quán)）人: 濟(jì)南大學(xué);山東思正信息科技有限公司
• 主分類號: A61B5/16
• 分類號: A61B5/16
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，包括：

獲取被審訊人員的審訊視頻，獲取被審訊人員的審訊過程中實時心率；

對審訊視頻中的音頻進(jìn)行端點檢測，得到若干個音頻端點；

提取音頻端點對應(yīng)視頻中被審訊人員的面部圖像，識別面部圖像中的微表情特征；對微表情特征進(jìn)行測謊結(jié)果識別，得到微表情測謊結(jié)果；

基于所有的音頻端點，對整個音頻進(jìn)行劃分，得到若干個音頻段，對每個音頻段進(jìn)行測謊結(jié)果識別，得到音頻測謊結(jié)果；

對音頻端點對應(yīng)的心率進(jìn)行測謊結(jié)果識別，得到心率測謊結(jié)果；

綜合微表情測謊結(jié)果、音頻測謊結(jié)果和心率測謊結(jié)果，得到最終的測謊結(jié)果。

2.如權(quán)利要求1所述的基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，獲取被審訊人員的審訊視頻，獲取被審訊人員的審訊過程中實時心率；具體包括：

采用心率貼，對被審訊人員的實時心率進(jìn)行采集。

3.如權(quán)利要求1所述的基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，提取音頻端點對應(yīng)視頻中被審訊人員的面部圖像，識別面部圖像中的微表情特征；對微表情特征進(jìn)行測謊結(jié)果識別，得到微表情測謊結(jié)果；具體包括：

提取音頻端點、音頻端點前三個端點和音頻端點后三個端點對應(yīng)視頻中被審訊人員的若干幀面部圖像；

將若干幀面部圖像輸入到訓(xùn)練后的微表情特征識別模型中，得到面部圖像中的微表情特征；

將微表情特征輸入到訓(xùn)練后的微表情測謊識別模型中，得到微表情測謊結(jié)果。

4.如權(quán)利要求3所述的基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，所述訓(xùn)練后的微表情特征識別模型，訓(xùn)練步驟包括：

構(gòu)建第一卷積神經(jīng)網(wǎng)絡(luò)模型；

構(gòu)建第一訓(xùn)練集，所述第一訓(xùn)練集為已知微表情特征的連續(xù)若干幀面部圖像；

利用第一訓(xùn)練集對第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的微表情特征識別模型；

其中，已知微表情特征，包括：張嘴、微笑、抬眉毛、擠左眼、擠右眼、憤怒、向左歪嘴、向右歪嘴、露齒笑、嘟嘴、翻嘴唇、鼓嘴、閉眼、黑眼球朝左移動、黑眼球朝右移動、黑眼球旋轉(zhuǎn)、黑眼球左右運(yùn)動。

5.如權(quán)利要求3所述的基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，所述訓(xùn)練后的微表情測謊識別模型，訓(xùn)練步驟包括：

構(gòu)建第二卷積神經(jīng)網(wǎng)絡(luò)模型；

構(gòu)建第二訓(xùn)練集，所述第二訓(xùn)練集為已知撒謊或未撒謊結(jié)果的微表情特征；

利用第二訓(xùn)練集對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的微表情測謊識別模型；

撒謊的微表情特征為黑眼球旋轉(zhuǎn)或者黑眼球左右運(yùn)動。

6.如權(quán)利要求1所述的基于多模態(tài)特征的測謊數(shù)據(jù)處理方法，其特征是，基于所有的音頻端點，對整個音頻進(jìn)行劃分，得到若干個音頻段，對每個音頻段進(jìn)行測謊結(jié)果識別，得到音頻測謊結(jié)果；具體包括：

基于所有的音頻端點，對整個音頻進(jìn)行劃分，得到若干個音頻段，對每個音頻段進(jìn)行音頻特征提取，將每個音頻段對應(yīng)的音頻特征均輸入到訓(xùn)練后的音頻測謊識別模型中，對每個音頻段進(jìn)行測謊結(jié)果識別，得到音頻測謊結(jié)果。

7.基于多模態(tài)特征的測謊數(shù)據(jù)處理系統(tǒng)，其特征是，包括：

獲取模塊，其被配置為：獲取被審訊人員的審訊視頻，獲取被審訊人員的審訊過程中實時心率；

端點檢測模塊，其被配置為：對審訊視頻中的音頻進(jìn)行端點檢測，得到若干個音頻端點；

微表情測謊模塊，其被配置為：提取音頻端點對應(yīng)視頻中被審訊人員的面部圖像，識別面部圖像中的微表情特征；對微表情特征進(jìn)行測謊結(jié)果識別，得到微表情測謊結(jié)果；

音頻測謊模塊，其被配置為：基于所有的音頻端點，對整個音頻進(jìn)行劃分，得到若干個音頻段，對每個音頻段進(jìn)行測謊結(jié)果識別，得到音頻測謊結(jié)果；

心率測謊模塊，其被配置為：對音頻端點對應(yīng)的心率進(jìn)行測謊結(jié)果識別，得到心率測謊結(jié)果；

輸出模塊，其被配置為：綜合微表情測謊結(jié)果、音頻測謊結(jié)果和心率測謊結(jié)果，得到最終的測謊結(jié)果。