[發(fā)明專利]雙錄方法、裝置、終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011514141.7
• 申請(qǐng)日: 2020-12-21
• 公開（公告）號(hào): CN112233690B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 白世杰;吳富章
• 申請(qǐng)（專利權(quán)）人: 北京遠(yuǎn)鑒信息技術(shù)有限公司
• 主分類號(hào): G10L21/10
• 分類號(hào): G10L21/10;G10L13/04;G10L15/26;G10L15/18;G06K9/00;G06F40/35
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種雙錄方法，其特征在于，包括：

若檢測到用戶在預(yù)設(shè)業(yè)務(wù)場景下輸入業(yè)務(wù)操作，則顯示業(yè)務(wù)詳情界面，所述業(yè)務(wù)詳情界面中顯示有虛擬業(yè)務(wù)員；

根據(jù)所述預(yù)設(shè)業(yè)務(wù)場景，確定所述預(yù)設(shè)業(yè)務(wù)場景對(duì)應(yīng)的目標(biāo)文本話術(shù)；

根據(jù)所述目標(biāo)文本話術(shù)，控制所述虛擬業(yè)務(wù)員執(zhí)行所述目標(biāo)文本話術(shù)對(duì)應(yīng)的唇語動(dòng)作，并播放所述目標(biāo)文本話術(shù)對(duì)應(yīng)的語音聲音；

將采集的所述用戶對(duì)應(yīng)的視頻流，以及所述虛擬業(yè)務(wù)員對(duì)應(yīng)的視頻流傳輸至服務(wù)器，所述虛擬業(yè)務(wù)員對(duì)應(yīng)的視頻流為所述虛擬業(yè)務(wù)員執(zhí)行的唇語動(dòng)作和所述語音聲音；

所述方法還包括：

采用預(yù)設(shè)的唇語識(shí)別模型和預(yù)設(shè)的語音識(shí)別模型，分別對(duì)所述用戶對(duì)應(yīng)的視頻流中的第二幀圖像和用戶語音進(jìn)行識(shí)別，得到唇語文本，和語義文本；

分別根據(jù)所述唇語文本和所述語義文本，判斷所述用戶是否確認(rèn)所述業(yè)務(wù)操作，得到唇語判斷結(jié)果和語義判斷結(jié)果；

若所述唇語判斷結(jié)果和所述語義判斷結(jié)果中任一不通過，則取消所述業(yè)務(wù)詳情界面的顯示。

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述預(yù)設(shè)業(yè)務(wù)場景，確定所述預(yù)設(shè)業(yè)務(wù)場景對(duì)應(yīng)的目標(biāo)文本話術(shù)，包括：

根據(jù)所述預(yù)設(shè)業(yè)務(wù)場景下所述用戶選擇的業(yè)務(wù)流程，確定所述業(yè)務(wù)流程對(duì)應(yīng)的文本話術(shù)為所述目標(biāo)文本話術(shù)。

3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)文本話術(shù)，控制所述虛擬業(yè)務(wù)員執(zhí)行所述目標(biāo)文本話術(shù)對(duì)應(yīng)的唇語動(dòng)作，并播放所述目標(biāo)文本話術(shù)對(duì)應(yīng)的語音聲音之前，所述方法還包括：

根據(jù)所述目標(biāo)文本話術(shù)，分別采用預(yù)設(shè)的唇語合成模型和預(yù)設(shè)的語音生成模型，生成所述唇語動(dòng)作和所述語音聲音。

4.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

檢測所述用戶對(duì)應(yīng)的視頻流中的每個(gè)幀圖像是否存在人臉；

若所述用戶對(duì)應(yīng)的視頻流中的第一幀圖像不存在人臉，則發(fā)出提示信息，并取消所述業(yè)務(wù)詳情界面的顯示，所述提示信息用于指示存在換人風(fēng)險(xiǎn)。

5.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

采用預(yù)設(shè)的人臉識(shí)別模型，對(duì)所述用戶對(duì)應(yīng)的視頻流中的人臉圖像進(jìn)行特征檢測，得到第一人臉特征；

根據(jù)所述第一人臉特征和所述用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)庫，對(duì)所述用戶進(jìn)行身份核實(shí)。

6.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

采用的身份字符識(shí)別模型和預(yù)設(shè)的人臉識(shí)別模型，分別對(duì)所述用戶對(duì)應(yīng)的視頻流中的身份證幀圖像進(jìn)行識(shí)別，得到所述用戶對(duì)應(yīng)的身份證字符和身份證人臉特征；所述身份證幀圖像為播放身份證出示語音的情況下采集到的幀圖像；

根據(jù)所述身份證字符和預(yù)設(shè)身份信息數(shù)據(jù)庫，對(duì)所述用戶進(jìn)行身份證的字符校驗(yàn)；

根據(jù)所述身份證人臉特征和所述用戶對(duì)應(yīng)的人臉特征數(shù)據(jù)庫，對(duì)所述用戶進(jìn)行身份證的人臉校驗(yàn)。

7.一種雙錄裝置，其特征在于，包括：

顯示模塊，用于若檢測到用戶在預(yù)設(shè)業(yè)務(wù)場景下輸入業(yè)務(wù)操作，則顯示業(yè)務(wù)詳情界面，所述業(yè)務(wù)詳情界面中顯示有虛擬業(yè)務(wù)員；

確定模塊，用于根據(jù)所述預(yù)設(shè)業(yè)務(wù)場景，確定所述預(yù)設(shè)業(yè)務(wù)場景對(duì)應(yīng)的目標(biāo)文本話術(shù)；

控制模塊，用于根據(jù)所述目標(biāo)文本話術(shù)，控制所述虛擬業(yè)務(wù)員執(zhí)行所述目標(biāo)文本話術(shù)對(duì)應(yīng)的唇語動(dòng)作，并播放所述目標(biāo)文本話術(shù)對(duì)應(yīng)的語音聲音；

傳輸模塊，用于將采集的所述用戶對(duì)應(yīng)的視頻流，以及所述虛擬業(yè)務(wù)員對(duì)應(yīng)的視頻流傳輸至服務(wù)器，所述虛擬業(yè)務(wù)員對(duì)應(yīng)的視頻流為所述虛擬業(yè)務(wù)員執(zhí)行的唇語動(dòng)作和所述語音聲音；

所述裝置還包括：

第二識(shí)別模塊，用于采用預(yù)設(shè)的唇語識(shí)別模型和預(yù)設(shè)的語音識(shí)別模型，分別對(duì)所述用戶對(duì)應(yīng)的視頻流中的第二幀圖像和用戶語音進(jìn)行識(shí)別，得到唇語文本，和語義文本；

判斷模塊，用于分別根據(jù)所述唇語文本和所述語義文本，判斷所述用戶是否確認(rèn)所述業(yè)務(wù)操作，得到唇語判斷結(jié)果和語義判斷結(jié)果；

第二取消模塊，用于若所述唇語判斷結(jié)果和所述語義判斷結(jié)果中任一不通過，則取消所述業(yè)務(wù)詳情界面的顯示。