[發明專利]一種基于合成數據的知識對話跨域學習方法

有效

• 申請號: 202110763112.2
• 申請日: 2021-07-06
• 公開（公告）號: CN113626566B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 魏凱敏;林健成;張繼連;劉志全;馮丙文
• 申請（專利權）人: 暨南大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/211;G06F40/295;G06N3/0455;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

本發明公開了一種基于合成數據的知識對話跨域學習方法。該方法針對知識對話系統跨域學習時數據資源不充分的問題，提出了以下策略：針對問答，閑聊提出模板和多輪對話生成模型共同構造合成數據方法；針對災難性遺忘提出知識保留和模板方法構造合成數據方法；為了利用不匹配對話語料，我們提出了使用檢索、過濾、排序等方法構建合成數據方法。使用該合成數據訓練的模型性能可近似使用人工標注數據進行訓練的模型，有效緩解了知識對話系統跨域學習對數據資源的依賴。

技術領域

本發明涉及自然語言處理技術領域，具體涉及一種基于合成數據的知識對話跨域學習方法。

背景技術

在對話系統領域中，知識對話被廣泛應用于產生更具有信息量和更具有信服力的回復，適用于各種用于滿足用戶情緒的對話機器人和各種用于達成完成具體任務的對話機器人。但目前的知識對話系統普遍存在一個問題：因為知識對話系統用于訓練的語料具有時效性，導致知識對話系統面對新領域的時表現較差。面對新領域，可用的訓練數據收集昂貴，一般可能遇上少數據甚至零數據的情況。這使得部署后的知識對話系統進行跨領域的學習變得十分困難。按照知識的組織形式，分為結構化的知識和非結構化的知識，結構化知識系統常以知識圖譜三元組的形式存在，本發明涉及使用結構化知識的知識對話系統。

而對于知識對話系統的研究，目前的研究都集中于在有限的領域內容如何更好的利用知識進行對話的生成。較少研究知識對話系統在部署后怎么進行在線更新，使得知識對話系統目前的應用仍具有較大局限性。

發明內容

本發明的目的是為了解決現有技術中的上述缺陷，提供一種基于合成數據的知識對話跨域學習方法，該方法通構建合成數據實現知識對話系統的跨領域學習，分別針對問答、閑聊、災難性遺忘、只存在不匹配語料四種場景對提出具體的合成數據構造過程。

本發明的目的可以通過采取如下技術方案達到：

一種基于合成數據的知識對話跨域學習方法，該方法針對包括問答、閑聊、災難性遺忘、只存在不匹配對話語料在內的四種場景，通過構建合成數據實現結構化知識對話系統跨領域學習，該方法針對不同場景的實現過程如下，

(1)針對問答的場景進行跨域學習的步驟如下：

S11、人工預設置模板；

S12、對于任一條新領域的知識三元組(Entity,Attr,Value)，其中Entity代表現實世界的某一個實體，比如具體的電影名稱，Attr表示實體所具備的屬性，比如電影實體會具備導演，演員屬性，Value為該屬性的具體值，分別代入上述模板的位置，得到一條合成數據；

S13、重復步驟S11、步驟S12直至新領域的知識全部被構建成對應的合成數據；

(2)針對閑聊的場景進行跨域學習的步驟如下：

S21、使用DialoGPT對話模型在大規模的對話語料上進行預訓練；

S22、對于任一條新領域的知識三元組{Entity,Attr,Value}，按照Entity聚合，得到多個分組G；

S23、對于同一組內，以“你能跟我說說{Entity}嗎？”，“可以呀”為多輪對話的開始；

S24、隨機產生一個隨機數p，0＝p＝1；

S25、若步驟S24中產生的隨機數p0.5，則使用DialoGPT對話模型進行S3提及的開展多輪對話進行續寫；

S26、若步驟S24中產生的隨機數p0.5，則使用模板開展多輪對話進行續寫；

S27、重復步驟S24～S26，直到該組對話中的每一個知識三元組{Entity,Attr,Value}都被覆蓋使用，生成對應的合成數據；

S28、重復步驟S22～S27，直到新領域的所有知識都被覆蓋；