[發明專利]一種面向任務型對話的多域請求式意圖識別方法

有效

• 申請號: 202110296459.0
• 申請日: 2021-03-19
• 公開（公告）號: CN113076758B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 謝洪途;林奕全;王國倩
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/284
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明提供一種面向任務型對話的多域請求式意圖識別方法，該方法通過將請求式意圖識別任務建模為配對排序任務，使用簡單的雙編碼器框架及基于多層級相似度的困難負樣本挖掘策略，有效提升了該場景下的識別效率及準確率。實驗結果表明，本發明提出的方法相較基線(Baseline)檢索模型于DSTC9?Track1測試集上，識別效率及可見域Top1/Top5準確率有較大提升。此外，該方法兼容基于語義空間的域自適應(Domain Adaption)技術，便于后續對小樣本場景的擴展使用。

技術領域

本發明涉及對話意圖識別和信息檢索領域，更具體地，涉及一種面向任務型對話的多域請求式意圖識別方法。

背景技術

對話意圖識別又稱對話狀態跟蹤，是任務型對話系統關鍵模塊，旨在理解當前對話的用戶意圖從而輔助系統回復生成。在任務型對話中，對話狀態通常定義為當前激活的用戶意圖槽值(Slot-Values)。用戶意圖插槽又可分為信息槽(Informable Slot)和請求槽(Requestable Slot)，信息槽用于記錄用戶要求的屬性條件用于實體搜索，而請求槽記錄了用戶對指定實體的附加信息請求，用于調用API鏈接外部知識庫(Knowledge Base，KB)。為在任務型對話中更高效地鏈接外部知識庫，本發明更關注請求式意圖，即(是否請求，請求域，請求實體)的三元組的識別任務。

此前對話意圖識別的相關工作(Hung Le等)通常建模為多分類任務，不適用于資源受限(Low Resource)的場景。對此，Chien-Sheng Wu等提出基于指針網絡(PointerNetwork)進行跨域的遷移學習(Transfer Learning)，但由于其沒有利用特征空間的語義信息進行遷移，于小樣本(Few-Shot)場景下的遷移學習能力仍有待提升。因而，如何學習有效的對話意圖語義表征成為小樣本遷移的關鍵。

度量學習(Metric learning)是一種高效的表征學習方法，其通過神經網絡將輸入樣本對映射到特征空間，并利用三元組損失函數(Triplet Loss)或對比損失函數(Contrastive Loss)拉近特征空間中的相似樣本并拉開相異樣本，從而得到高可辨的樣本表征。度量學習因高效、高可辨表征的學習能力，廣泛用于人臉識別、行人重識別等計算機視覺及小樣本學習領域(LukaszKaiser等)。在自然語言領域，DanielGillick等、VladimirKarpukhin等和TianchengZhao等的工作也分別將其用于實體鏈接(Entity Link，EL)、文檔檢索和對話生成等任務。

請求式意圖識別中也涉及請求實體的檢測，因而DanielGillick等將度量學習用于實體鏈接的工作與本發明的應用場景最為近似。實體鏈接是將文本中的提及(Mention)鏈接到知識庫中的實體的自然語言理解技術，其通常分為候選實體生成——消歧(Candidate Entity Generation-Entity Disambiguation，CEG-ED)兩階段實現。DanielGillick等根據CEG需要人工構建的別名字典生成、易漏檢實體的缺點，選擇跳過CEG階段，基于度量學習技術直接根據提及的上下文進行實體檢索。

本發明受DanielGillick等的工作啟發，將雙編碼器(Bi-Encoder)及在線困難負樣本挖掘(Online Hard Negative Mining)的度量學習框架應用于多域請求式意圖識別，在提升其性能的同時，該方法也兼容基于語義空間的域自適應(Domain Adaption)技術。需要指出DanielGillick等實體檢索的工作與請求實體識別存在下述差異：一，自然語言理解程度不同，兩者均需從存在共指(Coreference)的文本進行實體抽取，但實體鏈接的輸出的是請求實體的子集，因而需要更強的上下文化編碼器(Contextualized Encoder)提取文本特征；二，實體鏈接任務需要數據集預先提供提及塊(Mention Span)標注或通過啟發式方法提取，如別名字典模糊匹配(Chao-HongTan等)，且實體鏈接任務中存在較多難分辨的實體，需通過額外的實體描述進行實體消歧。

發明內容