[發明專利]面審視頻數據處理方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201910522249.1
• 申請日: 2019-06-17
• 公開（公告）號: CN110378228A
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 王麗杰
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L25/63
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 王珊珊

1.一種面審視頻數據處理方法，所述方法包括：

獲取目標用戶的面審視頻，提取所述面審視頻中的音頻流數據和視頻流數據；

對所述音頻流數據進行聲紋識別處理，得到聲紋波動數據，當所述聲紋波動數據超出預設的基礎情緒數據波動范圍時，根據所述聲紋波動數據超出所述基礎情緒數據波動范圍部分的數據量，確定所述目標用戶的情緒變化數據；

獲取所述視頻流數據中的目標用戶面部圖像，對所述目標用戶面部圖像進行面部膚色變化分析，根據分析結果中的膚色異常面部區域的標注數量與異常等級，得到所述目標用戶的膚色狀況信息；

對所述面審視頻分別進行語音識別和微表情識別處理，得到所述目標用戶的面審問答文本和微表情識別結果；

根據所述情緒變化數據、所述膚色狀況信息、所述面審問答文本和所述微表情識別結果分別所對應的維度，以及各所述維度的預設維度等級標準，確定所述目標用戶各維度的等級數據，根據所述各維度的預設權重比數據和所述等級數據，得到所述目標用戶的面審評估結果。

2.根據權利要求1所述的方法，其特征在于，所述獲取目標用戶的面審視頻，提取所述面審視頻中的音頻流數據和視頻流數據包括：

獲取目標用戶的面審視頻和所述面審視頻的問答時間記錄數據，

查找所述問答時間記錄數據中單個問題的問答開始時間戳，以各所述問答開始時間戳為節點，對所述面審視頻進行視頻片段分割；

提取各所述視頻片段的音頻流數據和視頻流數據。

3.根據權利要求1所述的方法，其特征在于，所述對所述音頻流數據進行聲紋識別處理，得到聲紋波動數據，當所述聲紋波動數據超出預設的基礎情緒數據波動范圍時，根據所述聲紋波動數據超出所述基礎情緒數據波動范圍部分的數據量，確定所述目標用戶的情緒變化數據包括：

提取所述音頻流數據中的聲紋數據；

提取所述聲紋數據中的基頻信息與語速信息，查找預設的情緒因子數據庫，確定所述基頻信息與語速信息對應的基礎情緒因子，所述情緒因子數據庫中存儲有各基礎情緒因子對應的基礎情緒數據波動范圍，包括基頻信息閾值范圍與語速信息閾值范圍；

根據預設的基頻閾值范圍與所述基頻信息的幅值變化、以及預設的語速閾值范圍與所述語速信息的幅值變化，獲得所述聲紋波動數據；

根據所述聲紋波動數據超出所述基礎情緒數據波動范圍部分的數據量，確定所述目標用戶的情緒變化數據。

4.根據權利要求1所述的方法，其特征在于，所述獲取目標用戶的面審視頻，提取所述面審視頻中的音頻流數據和視頻流數據之前，還包括：

獲取所述目標用戶的申請信息，所述申請信息包括所述目標用戶的個人信息、證件信息以及聲紋信息；

根據所述個人信息和所述證件信息，生成問題集，所述問題集用于對所述目標用戶進行面審提問；

當接收到所述目標用戶的登錄請求時，根據所述證件信息驗證所述登錄請求中攜帶的登錄數據，并根據所述聲紋信息驗證所述登錄請求中攜帶的聲紋數據；

當所述登錄數據和所述聲紋數據驗證通過時，進入獲取目標用戶的面審視頻的步驟。

5.根據權利要求1所述的方法，其特征在于，所述獲取所述視頻流數據中的目標用戶面部圖像，對所述目標用戶面部圖像進行面部膚色變化分析，根據分析結果中的膚色異常面部區域的標注數量與異常等級，獲得所述目標用戶的膚色狀況信息包括：

提取所述視頻流數據中的目標用戶面部圖像，獲取所述目標用戶面部圖像中各預設面部區域的膚色數據；

檢測所述膚色數據是否滿足預設膚色數據變化閾值范圍，根據檢測結果，確定不滿足所述閾值范圍的膚色數據對應的目標面部區域，并對所述目標面部區域進行異常標注；

當所述異常標注的標注數量和標注等級超過設定的標注數據閾值范圍時，根據所述標注數量和所述標注等級，確定所述目標用戶的膚色異常等級，所述膚色異常等級用于表征所述膚色狀況信息。