[發(fā)明專利]客戶服務(wù)方法、系統(tǒng)、裝置、服務(wù)器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110303194.2
• 申請日: 2021-03-22
• 公開（公告）號: CN113067953A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計）人: 韋嘉楠;關(guān)天愛;鄭權(quán);周超勇;劉玉宇
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: H04M3/527
• 分類號: H04M3/527;H04N7/14;G06F16/332
• 代理公司: 深圳市力道知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

1.一種基于虛擬人物的客戶服務(wù)方法，其特征在于，應(yīng)用于服務(wù)器，所述服務(wù)器分別與對話服務(wù)系統(tǒng)和流媒體服務(wù)器通信連接，所述對話服務(wù)系統(tǒng)與移動終端通信連接，所述方法包括：

獲取所述對話服務(wù)系統(tǒng)發(fā)送的問題文本信息，其中，所述問題文本信息是所述對話服務(wù)系統(tǒng)根據(jù)所述移動終端發(fā)送的客戶語音數(shù)據(jù)生成的；

獲取虛擬人物和用于回答所述問題文本信息的答案文本，并根據(jù)所述答案文本獲取所述虛擬人物的嘴部運(yùn)動軌跡和語音數(shù)據(jù)；

根據(jù)所述嘴部運(yùn)動軌跡和所述語音數(shù)據(jù)，生成包含所述虛擬人物的對話視頻，并向所述流媒體服務(wù)器發(fā)送所述對話視頻；

向所述對話服務(wù)系統(tǒng)發(fā)送所述對話視頻的流媒體地址，以供所述對話服務(wù)系統(tǒng)將所述流媒體地址轉(zhuǎn)發(fā)給所述移動終端，以使所述移動終端基于所述流媒體地址獲取所述對話視頻，并顯示所述對話視頻。

2.如權(quán)利要求1所述的基于虛擬人物的客戶服務(wù)方法，其特征在于，所述根據(jù)所述答案文本獲取所述虛擬人物的嘴部運(yùn)動軌跡和語音數(shù)據(jù)，包括：

將所述答案文本輸入預(yù)設(shè)文本語音轉(zhuǎn)換模型進(jìn)行處理，得到所述虛擬人物的語音數(shù)據(jù)；

提取所述語音數(shù)據(jù)中的多個音頻特征點(diǎn)，并獲取所述虛擬人物在每個所述音頻特征點(diǎn)處的嘴部開閉幅度和頻率；

對所述虛擬人物在每個所述音頻特征點(diǎn)處的嘴部開閉幅度和頻率進(jìn)行擬合，得到所述虛擬人物的嘴部動作軌跡。

3.如權(quán)利要求2所述的基于虛擬人物的客戶服務(wù)方法，其特征在于，所述提取所述語音數(shù)據(jù)中的多個音頻特征點(diǎn)，包括：

提取所述語音數(shù)據(jù)的韻律參數(shù)，其中，所述韻律參數(shù)包括音高、音長和停頓頻率；

將所述韻律參數(shù)輸入預(yù)設(shè)音頻特征點(diǎn)提取模型，得到所述語音數(shù)據(jù)中的多個音頻特征點(diǎn)。

4.如權(quán)利要求2所述的基于虛擬人物的客戶服務(wù)方法，其特征在于，所述將所述答案文本輸入預(yù)設(shè)文本語音轉(zhuǎn)換模型進(jìn)行處理，得到所述虛擬人物的語音數(shù)據(jù)，包括：

提取所述答案文本中的分隔符，根據(jù)所述分隔符，將所述答案文本劃分為多個子文本；

對所述多個子文本進(jìn)行詞向量編碼，得到多個多維詞向量，并對每個所述多維詞向量進(jìn)行降維，得到多個二維詞向量；

將所述多個二維詞向量輸入預(yù)設(shè)文本語音轉(zhuǎn)換模型進(jìn)行處理，得到所述虛擬人物的語音數(shù)據(jù)。

5.如權(quán)利要求1所述的基于虛擬人物的客戶服務(wù)方法，其特征在于，所述根據(jù)所述嘴部運(yùn)動軌跡和所述語音數(shù)據(jù)，生成包含所述虛擬人物的對話視頻，包括：

獲取所述虛擬人物的三維面部圖，并將所述嘴部運(yùn)動軌跡與所述三維面部圖進(jìn)行融合，得到多幀連續(xù)的動態(tài)人臉面部畫面；

從所述語音數(shù)據(jù)中獲取每一幀動態(tài)人臉面部畫面對應(yīng)的音頻信息；

對所述動態(tài)人臉面部畫面和對應(yīng)的所述音頻信息進(jìn)行音視頻合成編碼，得到包含所述虛擬人物的對話視頻。

6.如權(quán)利要求5所述的基于虛擬人物的客戶服務(wù)方法，其特征在于，所述將所述嘴部運(yùn)動軌跡與所述三維面部圖進(jìn)行融合，得到多幀連續(xù)的動態(tài)人臉面部畫面，包括：

將所述嘴部運(yùn)動軌跡導(dǎo)入到所述三維面部圖，得到目標(biāo)三維面部圖；

提取所述目標(biāo)三維面部圖中的位置發(fā)生變化的人臉關(guān)鍵點(diǎn)作為目標(biāo)人臉關(guān)鍵點(diǎn)；

將所述目標(biāo)人臉關(guān)鍵點(diǎn)入?yún)⒌筋A(yù)置對抗神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行嘴部圖像重構(gòu)，得到多張人臉面部畫面；

按照所述人臉面部畫面的重構(gòu)時間，將所述多張人臉面部畫面進(jìn)行排序得到多幀連續(xù)的動態(tài)人臉面部畫面。