[發明專利]使用卷積神經網絡的對話相關性建模

有效

• 申請號: 201610534215.0
• 申請日: 2016-07-08
• 公開（公告）號: CN107590153B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 武博文;王寶勛;彭爽;曾敏;周力
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅

本公開的非限制性示例描述了一種卷積神經網絡(CNN)架構，該架構被配置成評估查詢－響應配對的對話相關性。提供了一種CNN模型。該CNN模型包括：第一分支、第二分支、以及多層感知器(MLP)層。第一分支包括用于處理查詢的多個采用動態池化的卷積層。第二分支包括用于處理針對所述查詢的候選響應的多個采用動態池化的卷積層。MLP層被配置成基于對話相關性來對查詢－響應配對進行排名。使用CNN模型來并行地處理查詢和候選響應。使用所述MLP層基于傳遞自所述第一分支的第一輸入和傳遞自所述第二分支的第二輸入來生成所述查詢－響應配對的配對級排名。一個或多個查詢－響應配對的排名可被輸出。還描述了其他示例。

背景

為了增加用戶在對話中的活動，一般的對話服務需要提供對話相關響應，而不是詞法相關響應。深度神經網絡可被用來在維度上對查詢的相關性建模。作為一個示例，卷積神經網絡(CNN)模型可被用于提供對訓練數據的深度學習以改善系統響應查詢的能力。CNN學習語義特征并假設那些特征不被限制于它們被呈現的絕對位置。當涉及自然語言處理時，CNN模型的各特征可被應用以對與諸如詞性標注(POS)、命名實體識別(NER)等之類的輸入有關的不同方面進行評估。CNN模型通常由一堆不同的層形成，這些不同的層通過可微分函數將輸入量轉換成輸出量(例如，保持類別分數)。雖然CNN可提供針對數據的詞法評估的深度學習，但是要從大量的對話數據中學習深度的語義知識并且將學習到的知識用于對于查詢的自動響應選擇是具有挑戰性的。例如，考慮查詢“what is the weather like if Iwant to go on a picnic in autumn？”。典型的CNN模型在評估該查詢的語義特征時可將該查詢拆分成(多個部分)諸如：“what is the”、“the weather like”、“weather likeif”、“like if I”、“I want to”等。可以看到，在各文本部分中存在文本重疊，這可能會影響CNN模型的輸出(在確定什么部分具有最大的上下文相關性時)以及處理效率。由此，本申請涉及改善用于評估查詢/響應配對的CNN建模的通用技術環境。

概述

本公開的非限制性示例描述了一種卷積神經網絡(CNN)架構，該架構被配置成評估查詢－響應配對的對話相關性。提供了一種CNN模型。該CNN模型包括：第一分支、第二分支、以及多層感知器(MLP)層。第一分支包括具有用于處理查詢的多個采用動態池化的卷積層。第二分支包括用于處理針對所述查詢的候選響應的多個采用動態池化的卷積層。MLP層被配置成基于對話相關性來對查詢－響應配對進行排名。使用CNN模型來并行地處理查詢和候選響應。使用所述MLP層基于傳遞自所述第一分支的第一輸入和傳遞自所述第二分支的第二輸入來生成所述查詢－響應配對的配對級排名。一個或多個查詢－響應配對的排名可被輸出。

在各示例中，第一分支可進一步包括生成所述查詢的句子表示的單詞嵌入層，所述句子表示由多個單詞嵌入(單詞向量)組成。示例性單詞嵌入包括多個特征向量，每一個特征向量被映射到所述查詢的一個單詞，所述多個特征向量被用作為用于所述查詢的CNN建模的特征輸入。第一分支執行處理以通過對所述特征輸入建模以使用所述多個卷積層來抽象所述句子表示的短文本部分的含意來評估所述查詢的含意。為了改善CNN模型處理，第一分支被配置成執行動態池化處理操作，所述動態池化處理操作包括：將所述查詢的句子表示劃分成至少兩個片段，評估所述查詢的至少兩個片段之間各個短文本部分中的冗余文本信息，以及傳遞所述至少兩個片段的非冗余短文本部分供進一步處理。在各示例中，第一分支可進一步包括多個采用k個最大池化的卷積層。之前提到的第一分支的進一步處理可包括將所述查詢的至少兩個片段的非冗余短文本部分傳遞給多個采用k個最大池化的卷積層。通過所述多個采用k個最大池化的卷積層的處理導致生成要用于對查詢－響應配對進行排名的MLP層的第一輸入。