[發明專利]雙錄質檢方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201811537633.0
• 申請日: 2018-12-15
• 公開（公告）號: CN109767335A
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 江虹
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06Q40/06
• 分類號: G06Q40/06;G06Q20/40;G10L15/26;H04N5/76
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

1.一種雙錄質檢方法，其特征在于，所述雙錄質檢方法包括：

若接收到客戶端發送的金融產品購買請求，則向所述客戶端發送啟動雙錄指令，其中，所述啟動雙錄指令使所述客戶端開啟攝像頭裝置和麥克風裝置；

若接收到所述客戶端返回的雙錄啟動完成消息，則按照預設的選取方式，從預設的問題庫中選取合規問題，并通過機器語音的方式將所述合規問題的問題語音發送到所述客戶端；

接收所述客戶端發送的答案語音和視頻圖像，其中，所述語音答案是所述客戶端通過所述麥克風裝置采集的用戶回答所述合規問題的語音，所述視頻圖像是所述客戶端通過所述攝像頭裝置拍攝的用戶回答所述合規問題的視頻；

將所述視頻圖像輸入預設的人臉識別模型進行人臉識別，得到人臉識別結果；

若所述人臉識別結果為所述用戶的身份合法，則使用預設的語音識別模型，對所述答案語音進行文本轉換，得到所述答案語音對應的答案文本；

從所述預設的問題庫中獲取所述合規問題對應的合規答案，并將所述答案文本與所述合規答案進行匹配，得到匹配結果；

若所述匹配結果為匹配成功，則確認合規質檢通過，并向所述客戶端發送結束雙錄的指令。

2.如權利要求1所述的雙錄質檢方法，其特征在于，所述從所述預設的問題庫中獲取所述合規問題對應的合規答案，并將所述答案文本與所述合規答案進行匹配，得到匹配結果包括：

對所述答案文本進行關鍵字提取，得到所述答案文本包含的答案關鍵字；

從所述預設的問題庫中獲取所述合規問題對應的合規答案，并將所述答案關鍵字與所述合規答案進行文本字符匹配，若在所述合規答案中匹配到每個所述答案關鍵字，則確認所述匹配結果為匹配成功；

若存在所述合規答案未匹配到的所述答案關鍵字，則將未匹配到的所述答案關鍵字作為待識別關鍵字，并從預設的近義詞詞庫中獲取每個所述待識別關鍵字的近義詞；

將每個所述待識別關鍵字的所述近義詞與所述合規答案進行文本字符匹配，若每個所述待識別關鍵字的至少一個所述近義詞與所述合規答案匹配，則確認所述匹配結果為匹配成功；

若所述待識別關鍵字的每個所述近義詞與所述合規答案不匹配，則確認所述匹配結果為匹配失敗。

3.如權利要求1所述的雙錄質檢方法，其特征在于，所述若所述匹配結果為匹配成功，則確認合規質檢通過，并向所述客戶端發送結束雙錄的指令包括：

若所述匹配結果為匹配成功，則使用預設的微表情識別模型對所述視頻圖像進行面部情緒識別，得到所述用戶在回答所述合規問題時的情緒狀態；

從所述預設的問題庫中獲取所述合規問題對應的預設的合理情緒狀態；

若所述用戶在回答所述合規問題時的情緒狀態與所述合理情緒狀態一致，則確認合規質檢通過，并向所述客戶端發送結束雙錄的指令。

4.如權利要求3所述的雙錄質檢方法，其特征在于，所述使用預設的微表情識別模型對所述視頻圖像進行面部情緒識別，得到所述用戶在回答所述合規問題時的情緒狀態包括：

按照預設的提取方式對所述視頻圖像進行視頻幀提取，得到目標幀圖像；

將所述目標幀圖像輸入所述預設的微表情識別模型，得到所述用戶在每個預設的微表情狀態下的概率；

從每個所述概率中選取大于預設的概率閾值的概率，并將選出的所述概率對應的所述微表情狀態作為目標微表情狀態；

根據所述微表情狀態與所述情緒狀態之間預設的對應關系，采用投票的方式，統計每個所述目標微表情狀態對應的所述情緒狀態的票數，并將所述票數最多的所述情緒狀態作為所述用戶在回答所述合規問題時的情緒狀態。

5.如權利要求3或4所述的雙錄質檢方法，其特征在于，在所述從所述預設的問題庫中獲取所述合規問題對應的預設的合理情緒狀態之后，所述雙錄質檢方法還包括：

若所述用戶在回答所述合規問題時的情緒狀態與所述合理情緒狀態不一致，則確認合規質檢未通過，并向所述客戶端返回異常提示信息。