[發明專利]用于人機交互的方法、電子設備和計算機可讀存儲介質

在審

• 申請號: 202010043415.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111274372A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 楊洋;李鋒;萬化;張琛;胡瑛皓;王震
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06K9/62;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本公開的實施例提供了用于人機交互的方法、電子設備和計算機可讀存儲介質。該方法包括：響應于檢測到交互對象的輸入請求，獲取關于交互對象的多種類型的數據，多種類型的數據包括圖像數據、語音數據、文本數據、行為數據和數值類數據中的至少兩種類型的數據；提取多種類型的數據的特征；基于多種類型中的同一類型的數據的特征之間的相關性以及多種類型中的不同類型的數據的特征之間的相關性，確定注意力權重；基于注意力權重，融合多種類型的數據的特征，以確定交互對象的情感數據；以及基于輸入請求和情感數據，生成針對輸入請求的會話輸出。本公開能夠綜合交互對象的多模態輸入，針對交互對象在不同時段的情感特點匹配合適的會話回復。

技術領域

本公開涉及人機交互，更具體地，涉及用于人機交互的方法、電子設備和計算機可讀存儲介質。

背景技術

傳統的人機交互的方案例如是：交互設備響應于交互對象(例如用戶)經由鼠標等輸入手段所輸入的請求，確定匹配會話回復，以便與交互對象進行交互。

傳統的人機交互的方案一般僅針對交互對象的有限維度的輸入請求進行響應，例如僅僅基于交互對象的觸摸輸入、語音輸入或者文字輸入來進行響應，無法綜合交互對象的多模態輸入而動態地進行實時匹配響應，也無法針對交互對象在不同時段的情感特點進行匹配的響應，因此難以提高交互內容的準確性和用戶體驗。

發明內容

本公開提供一種用于人機交互的方法和裝置，能夠綜合交互對象的多模態輸入，針對交互對象在不同時段的情感特點匹配合適的會話回復。

根據本公開的第一方面，提供了一種人機交互的方法。該方法包括：響應于檢測到交互對象的輸入請求，獲取關于交互對象的多種類型的數據，多種類型的數據包括圖像數據、語音數據、文本數據、行為數據和數值類數據中的至少兩種類型的數據；提取多種類型的數據的特征；基于多種類型中的同一類型的數據的特征之間的相關性以及多種類型中的不同類型的數據的特征之間的相關性，確定注意力權重；基于注意力權重，融合多種類型的數據的特征，以確定交互對象的情感數據；以及基于輸入請求和情感數據，生成針對輸入請求的會話輸出。

根據本發明的第二方面，還提供一種用于人機交互的電子設備。該設備包括：存儲器，被配置為存儲一個或多個程序；處理單元，耦合至存儲器并且被配置為執行一個或多個程序使系統執行根據本公開的第一方面的方法。

根據本公開的第三方面，提供了一種非瞬態計算機可讀存儲介質。該非瞬態計算機可讀存儲介質上存儲有機器可執行指令，機器可執行指令在被執行時使機器執行根據本公開的第一方面的方法。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識本公開的關鍵特征或主要特征，也無意限制本公開的范圍。

附圖說明

通過結合附圖對本公開示例性實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施例中，相同的參考標號通常代表相同部件。

圖1示出了根據本公開的實施例的用于人機交互的系統100的架構圖；

圖2示出了根據本公開的實施例的用于人機交互的方法200的流程圖；

圖3示出了根據本公開的實施例的會話模塊300的示意圖；

圖4示出了根據本公開的實施例的用于生成針對輸入請求的會話輸出的方法400的流程圖；

圖5示出了根據本公開的實施例的用于確定會話引擎的方法500的流程圖；

圖6示出了根據本公開的實施例的用于構建分類模型的TextCNN結構的示意圖；

圖7示出了根據本公開的實施例的用于識別情感的方法700的流程圖；