[發(fā)明專利]數據處理方法、裝置、設備及可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202111058746.4
• 申請日: 2021-09-09
• 公開（公告）號: CN113780993A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設計）人: 俞翼飛
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06K9/62;G06K9/00;G06F16/332
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種數據處理方法，其特征在于，包括：

獲取用戶在面試過程中的多媒體數據，所述多媒體數據包括語音數據和視頻數據；

提取所述語音數據中的N個關鍵信息，基于所述N個關鍵信息對所述語音數據進行劃分，得到N個語音片段，一個關鍵信息對應一個語音片段，所述一個關鍵信息為所述用戶針對一個預設問題的回答信息；

分別獲取所述N個語音片段的時間信息，基于所述N個語音片段的時間信息對所述視頻數據進行劃分，得到N個視頻片段，一個語音片段對應一個視頻片段，一個語音片段的時間信息與所述語音片段對應的視頻片段的時間信息相同；

分別對所述N個視頻片段進行識別，確定所述N個視頻片段中每個視頻片段對應的類別信息，所述類別信息包括第一類別或第二類別，所述第一類別用于反映所述用戶針對預設問題的回答為真，所述第二類別用于反映所述用戶針對預設問題的回答為假；

基于所述N個視頻片段中每個視頻片段對應的類別信息與預設面試規(guī)則確定所述用戶的面試結果。

2.根據權利要求1所述的方法，其特征在于，所述提取所述語音數據中的N個關鍵信息，包括：

對所述語音數據進行語音識別，得到所述語音數據對應的文本數據；

對所述文本數據進行文本識別，將所述文本數據中與預設關鍵詞匹配的詞語確定為所述文本數據中的關鍵詞，基于所述關鍵詞提取所述語音數據中的N個關鍵信息。

3.根據權利要求1所述的方法，其特征在于，所述N個視頻片段包括第i個視頻片段，i為正整數；

所述分別對所述N個視頻片段進行識別，確定所述N個視頻片段中每個視頻片段對應的類別信息，包括：

對所述第i個視頻片段中的M幀視頻圖像進行人臉識別，確定所述第i個視頻片段對應的M幀人臉圖像，M為正整數；

基于微表情識別模型對所述M幀人臉圖像進行識別，確定所述M幀人臉圖像中每幀人臉圖像的微表情特征信息；

基于所述M幀人臉圖像中每幀人臉圖像的微表情特征信息與預設微表情特征信息庫進行匹配，確定所述第i個視頻片段對應的類別信息，直至確定出所述N個視頻片段中每個視頻片段對應的類別信息，所述預設微表情特征信息庫用于存儲微表情特征信息與類別信息之間的對應關系。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

獲取訓練樣本視頻片段，以及所述訓練樣本視頻片段的訓練標簽；

對所述訓練樣本視頻片段中的K幀訓練樣本視頻圖像進行人臉識別，確定所述訓練樣本視頻片段對應的K幀訓練樣本人臉圖像，K為正整數；

基于初始微表情識別模型對所述K幀訓練樣本人臉圖像進行識別，確定所述K幀訓練樣本人臉圖像中每幀訓練樣本人臉圖像的訓練微表情特征信息；

基于所述訓練標簽和所述訓練微表情特征信息確定所述初始微表情識別模型的第一損失函數；

基于所述第一損失函數對所述初始微表情識別模型進行訓練，得到所述微表情識別模型。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

獲取測試樣本視頻片段，以及所述測試樣本視頻片段的測試標簽；

對所述測試樣本視頻片段中的P幀測試樣本視頻圖像進行人臉識別，確定所述測試樣本視頻片段對應的P幀測試樣本人臉圖像，P為正整數；

所述基于所述第一損失函數對所述初始微表情識別模型進行訓練，得到所述微表情識別模型，包括：

基于所述第一損失函數對所述初始微表情識別模型進行訓練，得到訓練后的微表情識別模型；

基于所述訓練后的微表情識別模型對所述P幀測試樣本人臉圖像進行識別，確定所述P幀測試樣本人臉圖像中每幀測試樣本人臉圖像的測試微表情特征信息；

基于所述測試標簽和所述測試微表情特征信息確定所述訓練后的微表情識別模型的第二損失函數；

基于所述第二損失函數對所述訓練后的微表情識別模型進行調整，得到所述微表情識別模型。