[發(fā)明專利]一種基于虛擬人的遠(yuǎn)程客服方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010146975.0
• 申請(qǐng)日: 2020-03-05
• 公開（公告）號(hào): CN111401921B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 呂云;張賜;胡雨森
• 申請(qǐng)（專利權(quán)）人: 成都威愛新經(jīng)濟(jì)技術(shù)研究院有限公司
• 主分類號(hào): G06Q30/01
• 分類號(hào): G06Q30/01;G06F3/16;G06F3/0482;G06T19/20;G06T17/00;G06V40/16
• 代理公司: 北京正華智誠(chéng)專利代理事務(wù)所(普通合伙) 11870
• 代理人: 李夢(mèng)蝶

1.一種基于虛擬人的遠(yuǎn)程客服方法，其特征在于，包括以下步驟：

S1、通過終端設(shè)備獲取客戶發(fā)起的咨詢請(qǐng)求，判斷該咨詢請(qǐng)求是否可通過自助引導(dǎo)完成，若是則進(jìn)入步驟S2，否則進(jìn)入步驟S5；

S2、通過終端設(shè)備持續(xù)獲取客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)；

S3、根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)持續(xù)檢測(cè)客戶是否結(jié)束當(dāng)前咨詢和/或業(yè)務(wù)辦理，若是則結(jié)束客服，否則進(jìn)入步驟S4；

S4、根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)持續(xù)檢測(cè)客戶是否提出進(jìn)行人工客服的請(qǐng)求，若是則進(jìn)入步驟S5，否則根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)生成虛擬人表情和對(duì)應(yīng)的回復(fù)語(yǔ)音和/或文字，引導(dǎo)客戶完成咨詢和/或業(yè)務(wù)辦理；

S5、將客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)發(fā)送至對(duì)應(yīng)的人工客服，判斷客戶是否終止人工客服，若是則結(jié)束客服，否則進(jìn)入步驟S6；

S6、通過終端設(shè)備上的攝像頭獲取客戶位置數(shù)據(jù)，通過麥克風(fēng)和攝像頭獲取客服人員的語(yǔ)音、面部表情和嘴型動(dòng)作，并根據(jù)客戶的位置數(shù)據(jù)、客服人員的面部表情和嘴型動(dòng)作數(shù)據(jù)渲染虛擬人的圖像；

S7、通過終端設(shè)備同步播放渲染后的圖像和原始語(yǔ)音，引導(dǎo)客戶完成咨詢和/或業(yè)務(wù)辦理；

步驟S6中根據(jù)客戶的位置數(shù)據(jù)、客服人員的面部表情和嘴型動(dòng)作數(shù)據(jù)渲染虛擬人的圖像的具體方法包括以下子步驟：

S6-1、獲取客戶面部的轉(zhuǎn)移角度，并將該角度設(shè)置為虛擬人的轉(zhuǎn)移角度；

S6-2、判斷是否檢測(cè)到客戶的眼睛，若是則進(jìn)入步驟S6-3，否則將虛擬人的眼睛渲染為直視正前方，并進(jìn)入步驟S6-5；

S6-3、通過人臉識(shí)別算法獲取客戶人像雙眼像素中心連線的中心點(diǎn)位置像素坐標(biāo)P，并將其轉(zhuǎn)換到3D世界坐標(biāo)系中得到坐標(biāo)P'；

S6-4、獲取虛擬人右眼球中心點(diǎn)坐標(biāo)R和左眼球中心點(diǎn)坐標(biāo)L，并根據(jù)公式：

獲取虛擬人眼睛看向客戶右眼的方向向量和看向客戶左眼的方向向量根據(jù)方向向量和方向向量對(duì)虛擬人的雙眼進(jìn)行渲染；

S6-5、判斷是否捕獲客服人員的臉，若是則進(jìn)入步驟S6-6，否則進(jìn)入步驟S6-7；

S6-6、將客服人員的面部表情和嘴型動(dòng)作作為虛擬人的面部表情和嘴型動(dòng)作，完成對(duì)虛擬人的渲染；

S6-7、將虛擬人的面部表情渲染為微笑表情，將虛擬人的嘴型動(dòng)作渲染為一開一合，完成對(duì)虛擬人的渲染。

2.根據(jù)權(quán)利要求1所述的基于虛擬人的遠(yuǎn)程客服方法，其特征在于，所述步驟S1中判斷客戶的咨詢請(qǐng)求是否可通過自助引導(dǎo)完成的具體方法為：

判斷客的咨詢請(qǐng)求是否預(yù)先設(shè)定有自助引導(dǎo)流程，若是則判斷為可通過自助引導(dǎo)完成，否則判斷為不可通過自助引導(dǎo)完成。

3.根據(jù)權(quán)利要求1所述的基于虛擬人的遠(yuǎn)程客服方法，其特征在于，所述步驟S3中根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)持續(xù)檢測(cè)客戶是否結(jié)束當(dāng)前咨詢和/或業(yè)務(wù)辦理的具體方法為：

判斷客戶是否點(diǎn)擊結(jié)束按鈕，或識(shí)別客戶的語(yǔ)音中是否包含結(jié)束客服的相關(guān)語(yǔ)句，并在點(diǎn)擊結(jié)束按鈕或客戶的語(yǔ)音中包含結(jié)束客服的相關(guān)語(yǔ)句后，確認(rèn)客戶是否在展示的確認(rèn)結(jié)束界面中進(jìn)行了確認(rèn)，若是則判斷為客戶主動(dòng)結(jié)束客服，否則繼續(xù)進(jìn)行客服。

4.根據(jù)權(quán)利要求1所述的基于虛擬人的遠(yuǎn)程客服方法，其特征在于，所述步驟S4中根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)持續(xù)檢測(cè)客戶是否提出進(jìn)行人工客服的請(qǐng)求的具體方法為：

判斷客戶是否點(diǎn)擊進(jìn)行人工客服按鈕，或識(shí)別客戶的語(yǔ)音中是否包含請(qǐng)求人工客服的相關(guān)語(yǔ)句，并在點(diǎn)擊進(jìn)行人工客服按鈕或客戶的語(yǔ)音中包含請(qǐng)求人工客服的相關(guān)語(yǔ)句后，確認(rèn)客戶是否在展示的確認(rèn)請(qǐng)求人工客服界面中進(jìn)行了確認(rèn)，若是則判斷為客戶提出了進(jìn)行人工客服的請(qǐng)求。

5.根據(jù)權(quán)利要求1所述的基于虛擬人的遠(yuǎn)程客服方法，其特征在于，所述步驟S4中根據(jù)客戶的語(yǔ)音和/或按鍵操作數(shù)據(jù)生成虛擬人表情和對(duì)應(yīng)的回復(fù)語(yǔ)音和/或文字，引導(dǎo)客戶完成咨詢和/或業(yè)務(wù)辦理的具體方法為：

根據(jù)客戶語(yǔ)音中包含的語(yǔ)句信息和/或按鍵操作數(shù)據(jù)確定客戶要進(jìn)行的咨詢內(nèi)容和/或要辦理的業(yè)務(wù)，從數(shù)據(jù)庫(kù)中調(diào)出預(yù)設(shè)應(yīng)對(duì)方案，通過虛擬人的表情、語(yǔ)音和/或文字，以及界面的更新進(jìn)行回復(fù)，引導(dǎo)客戶完成咨詢和/或業(yè)務(wù)辦理。