[發(fā)明專利]用于對(duì)話內(nèi)的多角度論述的系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202080018413.6
• 申請(qǐng)日: 2020-01-16
• 公開(kāi)（公告）號(hào): CN113519000A
• 公開(kāi)（公告）日: 2021-10-19
• 發(fā)明（設(shè)計(jì)）人: V·V·達(dá)特拉;S·S·阿爾·哈薩恩;A·普拉卡什;O·F·法里;T·R·阿羅拉;柳俊毅;A·卡迪爾
• 申請(qǐng)（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 董莘

描述了用于訓(xùn)練和/或利用子代理機(jī)器學(xué)習(xí)模型來(lái)生成候選對(duì)話響應(yīng)的技術(shù)。在各種實(shí)現(xiàn)中，面向用戶的對(duì)話代理(202，302)或代表其的另一組件選擇最接近用戶定義的全局優(yōu)先級(jí)目標(biāo)(318)的候選響應(yīng)之一。全局優(yōu)先級(jí)目標(biāo)可以包括針對(duì)各種對(duì)話特征的值(306)，對(duì)話特征諸如情緒、困惑、客觀相關(guān)性、個(gè)性、詳細(xì)度等。在各種實(shí)現(xiàn)中，每個(gè)機(jī)器學(xué)習(xí)模型包括編碼器部分和解碼器部分。每個(gè)編碼器部分和解碼器部分可以是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型，諸如包括至少一個(gè)記憶層(諸如長(zhǎng)短期記憶(LSTM)層)的RNN模型。

背景技術(shù)

計(jì)算系統(tǒng)可以利用對(duì)話代理以連貫結(jié)構(gòu)與用戶交談。用戶界面輸入可以以文本、語(yǔ)音、圖形、觸覺(jué)、手勢(shì)的形式和/或其他交流模式被提供給對(duì)話代理。類似地，對(duì)話代理可以制定對(duì)用戶界面輸入的響應(yīng)，并且可以基于響應(yīng)使用文本、語(yǔ)音、圖形、觸覺(jué)、手勢(shì)和/或其他交流模式來(lái)傳送輸出。例如，對(duì)話代理可以解釋和響應(yīng)用戶以自然語(yǔ)言做出的陳述。

發(fā)明內(nèi)容

本文中描述的技術(shù)使得自適應(yīng)的面向用戶的對(duì)話代理能夠生成對(duì)用戶提供的輸入的多個(gè)候選響應(yīng)，并且使用預(yù)定全局對(duì)話目標(biāo)從這些候選響應(yīng)中選擇用于呈現(xiàn)給用戶的響應(yīng)。在很多實(shí)現(xiàn)中，對(duì)話代理可以基于對(duì)話特征將對(duì)話與用戶提供的輸入對(duì)準(zhǔn)，對(duì)話特征包括：情緒(emotion)、客觀相關(guān)性(objective relatedness)、困惑、個(gè)性(personality)、詳細(xì)度(verbosity)和/或附加對(duì)話特征。用戶可以設(shè)置對(duì)話代理將引導(dǎo)對(duì)話朝向的、與每個(gè)對(duì)話特征相對(duì)應(yīng)的期望值(例如，用戶可以設(shè)置針對(duì)對(duì)話的全局優(yōu)先級(jí)目標(biāo)的值)。例如，希望與對(duì)話代理進(jìn)行更自然的類人對(duì)話的用戶可以設(shè)置全局優(yōu)先級(jí)值以使得個(gè)性具有高值。作為另一示例，希望詳細(xì)討論和詳細(xì)回答的用戶可以設(shè)置全局優(yōu)先級(jí)目標(biāo)的值以使得詳細(xì)度具有高值。另外地或替代地，當(dāng)設(shè)置全局優(yōu)先級(jí)目標(biāo)的值時(shí)，用戶可以針對(duì)多個(gè)對(duì)話特征提供值。例如，希望簡(jiǎn)短且易于理解的響應(yīng)的用戶可以設(shè)置全局優(yōu)先級(jí)目標(biāo)以使得詳細(xì)度具有低值。在很多實(shí)現(xiàn)中，對(duì)話代理可以具有跨所有用戶的統(tǒng)一全局優(yōu)先級(jí)目標(biāo)值(例如，該系統(tǒng)管理員和/或具有全局權(quán)限的附加用戶為參與和對(duì)話代理的對(duì)話的所有用戶設(shè)置全局優(yōu)先級(jí)目標(biāo)的值)。

在很多實(shí)現(xiàn)中，面向用戶的對(duì)話代理可以包括若干子代理或與若干子代理可操作地耦合，每個(gè)子代理通過(guò)使用與每個(gè)子代理相對(duì)應(yīng)的獨(dú)特的機(jī)器學(xué)習(xí)模型處理用戶提供輸入來(lái)生成候選響應(yīng)(即，每個(gè)子代理與自己的獨(dú)特的機(jī)器學(xué)習(xí)模型相關(guān)聯(lián))。除非另有說(shuō)明，否則本文中使用的“對(duì)話代理”是指面向用戶的對(duì)話代理。在各種實(shí)現(xiàn)中，每個(gè)子代理(以及每個(gè)對(duì)應(yīng)子代理機(jī)器學(xué)習(xí)模型)被訓(xùn)練以生成被定制為針對(duì)對(duì)話特征之一的響應(yīng)(并且在某些情況下，每個(gè)子代理及其對(duì)應(yīng)機(jī)器學(xué)習(xí)模型被定制為針對(duì)獨(dú)特的對(duì)話特征)。

根據(jù)很多實(shí)現(xiàn)的子代理機(jī)器學(xué)習(xí)模型可以包括編碼器部分和解碼器部分。子代理機(jī)器學(xué)習(xí)模型的編碼器部分可以是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，并且可以包括一個(gè)或多個(gè)循環(huán)層，包括單向循環(huán)網(wǎng)絡(luò)層和/或雙向循環(huán)網(wǎng)絡(luò)層的組合。另外地或替代地，子代理機(jī)器學(xué)習(xí)模型的解碼器部分可以是RNN，并且可以包括一個(gè)或多個(gè)循環(huán)層，包括單向循環(huán)網(wǎng)絡(luò)層和/或雙向循環(huán)網(wǎng)絡(luò)層的組合。循環(huán)網(wǎng)絡(luò)層每個(gè)可以包括一個(gè)或多個(gè)記憶單元，輸入可以被順序應(yīng)用于這些記憶單元，并且在所應(yīng)用的輸入的每次迭代中，(多個(gè))記憶單元可以用于基于該迭代的輸入并且基于當(dāng)前隱藏狀態(tài)(可以基于(多個(gè))先前迭代的(多個(gè))輸入)來(lái)計(jì)算新隱藏狀態(tài)。在一些實(shí)現(xiàn)中，記憶單元可以是長(zhǎng)短期記憶(LSTM)單元。在一些實(shí)現(xiàn)中，可以使用(多個(gè))附加或替代記憶單元，諸如門控循環(huán)單元(GRU)。另外地或替代地，子代理機(jī)器學(xué)習(xí)模型可以包括附加網(wǎng)絡(luò)層，諸如用于執(zhí)行池化的網(wǎng)絡(luò)層(例如，隨時(shí)間池化層)、前饋網(wǎng)絡(luò)層和/或(多個(gè))附加網(wǎng)絡(luò)層。

在生成候選響應(yīng)之后，面向用戶的對(duì)話代理可以從候選響應(yīng)中選擇響應(yīng)以呈現(xiàn)給用戶。在很多實(shí)現(xiàn)中，特征監(jiān)測(cè)器過(guò)程可以針對(duì)每個(gè)候選響應(yīng)確定針對(duì)每個(gè)對(duì)話特征的值?？梢杂?jì)算針對(duì)每個(gè)候選響應(yīng)的針對(duì)特征的值與全局優(yōu)先級(jí)目標(biāo)的值之間的距離。另外地或替代地，該系統(tǒng)可以選擇針對(duì)每個(gè)候選響應(yīng)的針對(duì)對(duì)話特征的值與全局優(yōu)先級(jí)目標(biāo)的值之間的距離最短的響應(yīng)。