[發明專利]用于人機交互的方法、電子設備和計算機可讀存儲介質

在審

• 申請號: 202010043415.2
• 申請日: 2020-01-15
• 公開（公告）號: CN111274372A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 楊洋;李鋒;萬化;張琛;胡瑛皓;王震
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06K9/62;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

1.一種用于人機交互的方法，包括：

響應于檢測到交互對象的輸入請求，獲取關于所述交互對象的多種類型的數據，所述多種類型的數據包括圖像數據、語音數據、文本數據、行為數據和數值類數據中的至少兩種類型的數據；

提取所述多種類型的數據的特征；

基于所述多種類型中的同一類型的數據的特征之間的相關性以及所述多種類型中的不同類型的數據的特征之間的相關性，確定注意力權重；

基于所述注意力權重，融合所述多種類型的數據的特征，以確定所述交互對象的情感數據；以及

基于所述輸入請求和所述情感數據，生成針對所述輸入請求的會話輸出。

2.根據權利要求1所述的方法，其中確定注意力權重包括：

基于所述多種類型中的同一類型的數據的特征之間的相關性，生成第一注意力權重；以及

基于所述多種類型中的不同類型的數據的所提取特征之間的相關性，生成第二注意力權重。

3.根據權利要求1所述的方法，其中生成針對所述輸入請求的會話輸出包括：

基于所述輸入請求的數據類型，確定匹配的會話引擎；以及

基于所確定的匹配的會話引擎，生成所述會話輸出。

4.根據權利要求1所述的方法，其中基于所述輸入請求的數據類型確定匹配的會話引擎包括：

響應與確定所述輸入請求的數據類型為文本數據，將基于表格數據的會話引擎、基于知識圖譜的會話引擎、基于非結構化數據的會話引擎中的至少一個會話引擎確定為匹配的會話引擎；以及

響應與確定所述輸入請求的數據類型為語音數據，將基于QA對的會話引擎和基于規則的會話引擎中的至少一個會話引擎確定為匹配的會話引擎。

5.根據權利要求1所述的方法，其中生成針對所述輸入請求的會話輸出包括：

獲取所述交互對象的屬性；以及

基于所述交互對象的屬性和所述輸入請求的內容，經由分類模型，確定匹配的會話引擎的類別，以用于基于所確定的匹配的會話引擎生成所述會話輸出。

6.根據權利要求5所述的方法，其中所述交互對象的屬性是經由以下方式而生成的：

使得所述交互對象的行為數據與當前時段相關聯；以及

基于所述交互對象的行為數據和所述輸入請求，確定所述交互對象的屬性，所述交互對象的屬性與所述當前時段相關聯。

7.根據權利要求3所述的方法，其中確定匹配的會話引擎包括：

響應于確定所述輸入的內容超出知識圖譜的預定范圍，不將所述基于知識圖譜的會話引擎確定為匹配的會話引擎。

8.根據權利要求1所述的方法，其中提取所述多種類型的數據的特征包括：

針對所述數值類數據進行歸一化處理；以及

對所述圖像數據、所述語音數據、所述文本數據、所述行為數據分別進行向量化處理。

9.根據權利要求1所述的方法，還包括：

確定所述交互對象的輸入請求所針對的情感對象；

確定關于所確定的所述情感對象的描述；

基于所述情感對象的描述，經由分類模型，確定關于所述情感對象的情感類別；以及

基于關于所述情感對象的情感類別，確定所述情感數據。

10.一種電子設備，所述電子設備包括：

存儲器，被配置為存儲一個或多個程序；

處理單元，耦合至所述存儲器并且被配置為執行所述一個或多個程序使所述裝置執行根據權利要求1-9中任一所述的方法的步驟。

11.一種非瞬態計算機可讀存儲介質，其上存儲有機器可執行指令，所述機器可執行指令在被執行時使機器執行根據權利要求1-9中任一項所述的方法的步驟。