[發明專利]基于聯合學習的多回合對話回應選擇方法

在審

• 申請號: 202110418009.4
• 申請日: 2021-04-19
• 公開（公告）號: CN112989006A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 孔芳;司博文;周國棟
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06F40/30;G06K9/62
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 郭磊

本發明公開了一種基于聯合學習的多回合對話回應選擇方法，包括：(1)將不同語言的對話上文與備選回應進行預處理，得到相應對話上文和備選回應文本的潛在語義表征；(2)對不同語言對話上文文本與備選回應文本的特征進行特征提取，得到不同語言對話上文文本與備選回應文本的潛在語義信息；(3)對于每一種語言的對話，匹配每一回合對話與備選回應，同時整合對話上文整體語義信息；之后整體語義信息與備選回應進行匹配，將匹配到的信息整合；(4)將不同語言的輸出進行整合完成結果的有效預測。本發明的有益效果：利用對話語言結構的相通性以及不同語言的互補性提升多回合對話回應選擇任務的性能。

技術領域

本發明涉及自然語言領域，具體涉及一種基于聯合學習的多回合對話回應選擇方法。

背景技術

隨著深度學習的發展，人機交互技術給人們帶來越來越多的便利。因此，人機多回合對話成為自然語言處理的熱門領域，受到了學術界和工業界的廣泛關注。人機多回合對話分為檢索式和生成式。檢索式又稱回應選擇旨在針對對話上文從備選回應中選擇最相關的回應；生成式又稱回應生成，主要針對對話上文內容通過自然語言生成技術生成與對話上文相關的回應。本發明主要研究回應選擇任務。

最初的研究主要集中在短文本的單回合對話上。隨著技術的不斷發展，研究逐漸步入長文本的多回合對話中。早期的多回合對話回應選擇主要借鑒短文本對話回應選擇的方法，從最開始的基于匹配和編碼的方法，這些方法主要通過將對話上文拼接成一個對話長文的辦法，使用短文本對話回應選擇技術解決多回合對話回應選擇任務，Lowe使用RNN編碼對話上文和備選回應的方法，此類方法又被稱為平行編碼方法。不久，Kadlec研究了不同種類編碼器在平行編碼網絡上的性能。Yan采用了另一種做法，他們使用一個CNN計算對話上文和備選回應的匹配分數。由于對話文本的長度過長，編碼器的信息捕捉能力有限，此類方法逐漸出現在長文本上效果較差的問題。為了解決文本過長的問題，研究人員提出層次匹配的方法，將對話上文的每一回合對話與備選回應進行匹配，之后將每一回合匹配的信息進行整合。Wu提出順序匹配網絡(Sequential Matching Network，SMN)，將備選回應分別與對話上文中的每一次對話匹配，Zhan提出深度話語匯聚網絡(deep utteranceaggregation network，DUA)，該網絡細化處理對話，同時使用自注意力機制來尋找每sss次對話中的重要信息。在實際中，對話之間存在多種語言現象，相鄰對話之間關系十分密切，現有的層次匹配雖然捕捉到了每一回合對話與備選回應之間的聯系但是忽視了對話上文的整體語義信息。同時現有的研究大多采取單個數據集訓練的方法，事實上，不同語言的對話結構上存在相似性語言上存在互補性。具體體現在(a)不同語言對話中均存在省略和指代等語言現象。(b)相鄰對話之間的關系最為密切，主要體現在對話中的省略和指代大多是最近一輪對話中的內容。對此本發明對多回合對話回應選擇任務具有很重要的研究價值。

傳統技術存在以下技術問題：

不同語言的對話在結構上存在相似性，語言上存在互補性。現有的研究大多采用單個數據集訓練的方法，忽視了不同語言之間的互補性，為了提升性能他們只能不斷增加模型的復雜度，這導致模型的執行效率大大下降。

發明內容

本發明要解決的技術問題是提供一種基于聯合學習的多回合對話回應選擇方法，利用對話語言結構的相通性以及不同語言的互補性提升多回合對話回應選擇任務的性能。具體而言，首先將不同語言的對話文本進行預處理，得到相應的特征表示，作為聯合學習框架的輸入；其次使用共享的編碼層，獲得對話文本的內部語義信息的同時，利用不同語言的互補性拓展編碼器對文本內部信息的挖掘能力；接著使用共享層次匹配模型將對話上文與備選回應進行匹配，獲得對話上文與備選回應之間的匹配信息；最后將上述挖掘到的信息進行整合，并使用共享分類器對結果進行預測。