[發明專利]基于多模態特征的測謊數據處理方法及系統

有效

• 申請號: 202110333041.2
• 申請日: 2021-03-29
• 公開（公告）號: CN113080969B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 陳貞翔;王有冕;姜曉慶;楊倩;鄭永強
• 申請（專利權）人: 濟南大學;山東思正信息科技有限公司
• 主分類號: A61B5/16
• 分類號: A61B5/16
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于多模態特征的測謊數據處理方法及系統，包括：獲取被審訊人員的審訊視頻，獲取被審訊人員的審訊過程中實時心率；對審訊視頻中的音頻進行端點檢測，得到若干個音頻端點；提取音頻端點對應視頻中被審訊人員的面部圖像，識別面部圖像中的微表情特征；對微表情特征進行測謊結果識別，得到微表情測謊結果；基于所有的音頻端點，對整個音頻進行劃分，得到若干個音頻段，對每個音頻段進行測謊結果識別，得到音頻測謊結果；對音頻端點對應的心率進行測謊結果識別，得到心率測謊結果；綜合微表情測謊結果、音頻測謊結果和心率測謊結果，得到最終的測謊結果。

技術領域

本申請涉及測謊技術領域，特別是涉及基于多模態特征的測謊數據處理方 法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有 技術。

在案件審訊過程中，測謊儀一般情況下很少使用，大多數情況下起到是輔 助作用。不過，測謊儀仍然是反應人心理狀態的重要手段，在審訊過程中，審 訊人在開啟測謊儀后進行提問，測謊儀在被審訊人回答問題的同時進行判斷， 能夠實時進行謊言判斷。

發明人發現，現有技術中存在以下技術問題：

現有的測謊儀只考慮單方面特征，沒有考慮多方面特征，測謊結果不夠精 準。

發明內容

為了解決現有技術的不足，本申請提供了基于多模態特征的測謊數據處理 方法及系統；

第一方面，本申請提供了基于多模態特征的測謊數據處理方法；

基于多模態特征的測謊數據處理方法，包括：

獲取被審訊人員的審訊視頻，獲取被審訊人員的審訊過程中實時心率；

對審訊視頻中的音頻進行端點檢測，得到若干個音頻端點；

提取音頻端點對應視頻中被審訊人員的面部圖像，識別面部圖像中的微表 情特征；對微表情特征進行測謊結果識別，得到微表情測謊結果；

基于所有的音頻端點，對整個音頻進行劃分，得到若干個音頻段，對每個 音頻段進行測謊結果識別，得到音頻測謊結果；

對音頻端點對應的心率進行測謊結果識別，得到心率測謊結果；

綜合微表情測謊結果、音頻測謊結果和心率測謊結果，得到最終的測謊結 果。

第二方面，本申請提供了基于多模態特征的測謊數據處理系統；

基于多模態特征的測謊數據處理系統，包括：

獲取模塊，其被配置為：獲取被審訊人員的審訊視頻，獲取被審訊人員的 審訊過程中實時心率；

端點檢測模塊，其被配置為：對審訊視頻中的音頻進行端點檢測，得到若 干個音頻端點；

微表情測謊模塊，其被配置為：提取音頻端點對應視頻中被審訊人員的面 部圖像，識別面部圖像中的微表情特征；對微表情特征進行測謊結果識別，得 到微表情測謊結果；

音頻測謊模塊，其被配置為：基于所有的音頻端點，對整個音頻進行劃分， 得到若干個音頻段，對每個音頻段進行測謊結果識別，得到音頻測謊結果；

心率測謊模塊，其被配置為：對音頻端點對應的心率進行測謊結果識別， 得到心率測謊結果；

輸出模塊，其被配置為：綜合微表情測謊結果、音頻測謊結果和心率測謊 結果，得到最終的測謊結果。