[發(fā)明專利]虛擬人交互方法以及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310122600.4
• 申請(qǐng)日: 2023-01-19
• 公開（公告）號(hào): CN116088688A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 王雄威;林旭鳴;趙中州;周偉
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴（中國(guó)）有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G10L17/04;G10L25/63;G06F40/35;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 李曉慶

1.一種虛擬人交互方法，包括：

確定目標(biāo)用戶針對(duì)虛擬人的當(dāng)前交互行為；

根據(jù)所述當(dāng)前交互行為，確定所述虛擬人針對(duì)所述當(dāng)前交互行為的回復(fù)文本；

將所述回復(fù)文本和所述虛擬人對(duì)應(yīng)的目標(biāo)人設(shè)輸入至文本分析模型，獲得所述文本分析模型輸出的所述回復(fù)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述回復(fù)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)；

對(duì)所述回復(fù)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述回復(fù)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)進(jìn)行平滑處理，根據(jù)處理結(jié)果確定所述虛擬人向所述目標(biāo)用戶展示的反饋交互行為。

2.根據(jù)權(quán)利要求1所述的方法，所述對(duì)所述回復(fù)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述回復(fù)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)進(jìn)行平滑處理，根據(jù)處理結(jié)果確定所述虛擬人向所述目標(biāo)用戶展示的反饋交互行為，包括：

根據(jù)所述目標(biāo)人設(shè)對(duì)應(yīng)的參考情感類型的概率分布，對(duì)所述回復(fù)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度進(jìn)行平滑處理，獲得第一處理結(jié)果；

根據(jù)所述回復(fù)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)，確定所述聲音指標(biāo)數(shù)據(jù)的變化曲線；

對(duì)所述變化曲線進(jìn)行平滑處理，獲得第二處理結(jié)果；

根據(jù)所述第一處理結(jié)果和所述第二處理結(jié)果，確定所述虛擬人向所述目標(biāo)用戶展示的反饋交互行為。

3.根據(jù)權(quán)利要求1所述的方法，所述文本分析模型的訓(xùn)練步驟包括：

確定目標(biāo)人設(shè)對(duì)應(yīng)的目標(biāo)文本；

對(duì)所述目標(biāo)文本進(jìn)行文本分析，獲得所述目標(biāo)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)；

將所述目標(biāo)文本和所述目標(biāo)人設(shè)作為訓(xùn)練樣本，所述目標(biāo)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)作為訓(xùn)練標(biāo)簽；

根據(jù)所述訓(xùn)練樣本和所述訓(xùn)練標(biāo)簽，對(duì)文本分析模型進(jìn)行訓(xùn)練，直至獲得滿足訓(xùn)練停止條件的文本分析模型。

4.根據(jù)權(quán)利要求3所述的方法，所述對(duì)所述目標(biāo)文本進(jìn)行文本分析，獲得所述目標(biāo)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)之前，還包括：

對(duì)所述目標(biāo)文本進(jìn)行拆分，獲得所述目標(biāo)文本中的目標(biāo)子文本和目標(biāo)文字；

相應(yīng)地，所述對(duì)所述目標(biāo)文本進(jìn)行文本分析，獲得所述目標(biāo)文本對(duì)應(yīng)的情感類型和情感強(qiáng)度、以及所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)，包括：

對(duì)所述目標(biāo)子文本進(jìn)行文本分析，獲得所述目標(biāo)子文本對(duì)應(yīng)的情感類型和情感強(qiáng)度；

利用語音對(duì)齊方法，對(duì)所述目標(biāo)文本進(jìn)行文本分析，獲得所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，所述利用語音對(duì)齊方法，對(duì)所述目標(biāo)文本進(jìn)行文本分析，獲得所述目標(biāo)文本中的目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)，包括：

確定目標(biāo)文本對(duì)應(yīng)的音頻數(shù)據(jù)；

利用語音對(duì)齊方法，從所述目標(biāo)文本對(duì)應(yīng)的音頻數(shù)據(jù)中抽取所述目標(biāo)文字對(duì)應(yīng)的音頻數(shù)據(jù)；

根據(jù)所述目標(biāo)文字對(duì)應(yīng)的音頻數(shù)據(jù)，確定所述目標(biāo)文字對(duì)應(yīng)的聲音指標(biāo)數(shù)據(jù)。

6.根據(jù)權(quán)利要求4所述的方法，所述對(duì)所述目標(biāo)子文本進(jìn)行文本分析，獲得所述目標(biāo)子文本對(duì)應(yīng)的情感類型和情感強(qiáng)度，包括：

對(duì)所述目標(biāo)子文本進(jìn)行文本分析，獲得文本分析結(jié)果；

利用圖像理解方法，對(duì)所述目標(biāo)文本對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行識(shí)別，獲得所述圖像數(shù)據(jù)中目標(biāo)對(duì)象的肢體動(dòng)作對(duì)應(yīng)的情感類型和情感強(qiáng)度；

根據(jù)所述文本分析結(jié)果和所述目標(biāo)對(duì)象的肢體動(dòng)作對(duì)應(yīng)的情感類型和情感強(qiáng)度，確定所述目標(biāo)子文本對(duì)應(yīng)的情感類型和情感強(qiáng)度。