[發(fā)明專利]移情式個(gè)人虛擬數(shù)字助理

有效

• 申請(qǐng)?zhí)枺?/td>: 201980015708.5
• 申請(qǐng)日: 2019-02-20
• 公開（公告）號(hào): CN111788621B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: N·查德拉塞卡蘭;R·A·西姆;R·W·懷特;N·戈特比
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): G09B5/00
• 分類號(hào): G09B5/00;G09B7/02;G09B19/00;G09B5/06
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 李光穎

一種個(gè)人虛擬助理(PVA)系統(tǒng)獲取現(xiàn)有輸入并且對(duì)其進(jìn)行處理，以通過分析特征來理解用戶的個(gè)性、意圖等，所述特征諸如是用戶語氣、語言使用、語音音量、面部表情以及來自設(shè)備使用和周圍環(huán)境的語境。作為處理的結(jié)果，所述PVA系統(tǒng)增強(qiáng)了其響應(yīng)和與用戶交互的方式。這樣的增強(qiáng)的響應(yīng)可以包括簡(jiǎn)單事情，如改變助理的語氣以贊美用戶的情緒，以及改變其語言、音量的使用和共享信息的方式，比如在用戶可能情緒低的時(shí)候呈現(xiàn)好消息，或者在并非用戶以最佳方式處理的時(shí)刻，抑制壞消息。

背景技術(shù)

與個(gè)人虛擬助理(PVA)的交互正在通過我們家中、工作場(chǎng)所處以及四處移動(dòng)的移動(dòng)電話、可穿戴物等上的環(huán)境設(shè)備而成為日常生活的一部分。當(dāng)前，與PVA的大部分交互的形式是提出問題并且接收簡(jiǎn)單的回答。在超出問答類型的互動(dòng)而達(dá)到模仿人類助理的更多回合的交談時(shí)，PVA在互動(dòng)期間表現(xiàn)出移情(empathy)就變得重要。

一般而言，PVA的響應(yīng)和交互往往像機(jī)器人、語氣單一、并且沒有情感，有時(shí)麻木不仁。結(jié)果，用戶互動(dòng)遭受問題。來自PVA的移情式響應(yīng)(基于先前交互而針對(duì)用戶進(jìn)行個(gè)性化)將驅(qū)動(dòng)出結(jié)果，諸如更多互動(dòng)的交互、用戶滿意度提升以及使用增加。

發(fā)明內(nèi)容

在附圖和以下詳細(xì)說明文本中提供了本發(fā)明主題的實(shí)施例的各種細(xì)節(jié)。應(yīng)當(dāng)理解，以下章節(jié)提供了這些實(shí)施例中的一些實(shí)施例的總結(jié)性示例。

為了具有移情，本文描述的PVA除了理解語境和用戶的一般興趣之外，還通過訓(xùn)練機(jī)器學(xué)習(xí)模型而從與特定用戶的先前交互以及用戶對(duì)其響應(yīng)的反應(yīng)進(jìn)行學(xué)習(xí)。為此目的，使用多模感測(cè)(包括音頻語氣和視頻面部表情)來評(píng)估用戶的反應(yīng)以學(xué)習(xí)并且改善將來的反應(yīng)。

為了理解語境，該P(yáng)VA還獲取現(xiàn)有輸入并且對(duì)其進(jìn)行處理，以通過對(duì)特征的分析來理解用戶的個(gè)性、意圖等，所述特征諸如是用戶語氣、語言使用、語音音量、面部表情以及來自設(shè)備使用和周圍環(huán)境的語境。作為處理的結(jié)果，該P(yáng)VA增強(qiáng)了其響應(yīng)以及與用戶交互的方式。這樣的增強(qiáng)的響應(yīng)可以包括簡(jiǎn)單的事情，如改變助理的語氣以匹配或補(bǔ)償用戶的情緒，以及改變其對(duì)語言、音量的使用和共享信息的方式，如在用戶可能情緒低的時(shí)候給出好消息，或者在并非用戶對(duì)其進(jìn)行最佳處理的時(shí)刻，抑制壞消息。該系統(tǒng)能夠?qū)W習(xí)哪些狀況和情感響應(yīng)與用戶發(fā)生共鳴，并且能夠生成包括諸如元組的記錄的存儲(chǔ)部，所述元組例如包括{狀況，系統(tǒng)情感響應(yīng)，用戶反應(yīng)}。該數(shù)據(jù)能夠被用于訓(xùn)練機(jī)器學(xué)習(xí)算法，以學(xué)習(xí)狀況與針對(duì)用戶、針對(duì)當(dāng)前用戶群或者針對(duì)整個(gè)用戶群體的最適當(dāng)情感反應(yīng)之間的映射。

本文描述的實(shí)施例總體涉及一種個(gè)人虛擬助理系統(tǒng)，包括：處理電路、揚(yáng)聲器、從至少用戶的語音收集關(guān)于用戶的情感狀態(tài)的用戶狀態(tài)信息的至少一個(gè)感測(cè)設(shè)備、以及在其中存儲(chǔ)有指令的存儲(chǔ)器設(shè)備。所述指令當(dāng)由處理電路運(yùn)行時(shí)將處理電路配置為：從用戶接收引起來自個(gè)人虛擬助理系統(tǒng)的響應(yīng)的通信；使用機(jī)器學(xué)習(xí)模型根據(jù)由至少一個(gè)感測(cè)設(shè)備收集的至少用戶狀態(tài)信息來確定用戶的情感狀態(tài)；生成考慮了所確定的用戶的情感狀態(tài)的響應(yīng)；使用被選擇用于將所確定的所述用戶的情感狀態(tài)改變到不同的情感狀態(tài)的語言、音量和語氣，通過所述揚(yáng)聲器向所述用戶輸出所生成的響應(yīng)；以及基于用戶對(duì)所輸出的響應(yīng)的響應(yīng)來訓(xùn)練機(jī)器學(xué)習(xí)模型。可以將個(gè)人虛擬助理被實(shí)現(xiàn)為硬件設(shè)備，包括用于所述處理電路、揚(yáng)聲器、至少一個(gè)感測(cè)設(shè)備以及存儲(chǔ)器設(shè)備的殼體；或者可以被實(shí)現(xiàn)于更通用的軟件平臺(tái)上，如能從Microsoft Corporation獲得的Windows OS^TM上的Cortana^TM(其可能涉及多個(gè)云組件)；或者硬件設(shè)備和軟件平臺(tái)的組合。

在樣本實(shí)施例中，所述至少一個(gè)感測(cè)設(shè)備感測(cè)在與個(gè)人虛擬助理系統(tǒng)通信中用戶所使用的語音語氣和語言，并且可以進(jìn)一步感測(cè)用戶的面部表情以根據(jù)用戶的面部表情來提取關(guān)于用戶的情感狀態(tài)的用戶狀態(tài)信息。所述至少一個(gè)感測(cè)設(shè)備還可以根據(jù)以下中的至少一項(xiàng)來感測(cè)用戶的語境：用戶的位置、當(dāng)?shù)貢r(shí)間、日程、以及周圍環(huán)境以及用戶與個(gè)人虛擬助理系統(tǒng)或其他設(shè)備的在先交互。