[發明專利]一種基于長短時記憶信息的個性化對話生成方法和系統

有效

• 申請號: 202010927235.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112115247B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 竇志成;李小禾
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284;G06N3/0455;G06N3/0442;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 趙悅

本發明涉及一種基于長短時記憶信息的個性化對話生成方法和系統，包括以下步驟：將輸入文本和用戶對話歷史的文本表示為句子向量；將輸入文本進行編碼獲得感知記憶信息；在用戶對話歷史的文本中篩選出與輸入文本最相似的歷史作為當前輸入下用戶的長時記憶，將長時記憶進行編碼得到長時記憶信息；將與輸入文本時間上最為接近的用戶對話歷史進行編碼得到用戶的短時記憶信息；將感知記憶信息、長時記憶信息和短時記憶信息在每個生成時刻更新并與之前時刻的輸出信息一同進行解碼，從而生成具有用戶個性的對話。其針對不同內容和不同時刻的輸入區別對待對話歷史，提供不同維度的記憶信息作為動態的隱式人設，生成結果更加符合真實對話場景。

技術領域

本發明涉及一種基于長短時記憶信息的個性化對話生成方法和系統，屬于人工智能技術領域。

背景技術

伴隨著由數據驅動的端到端對話系統的發展，個性化對話系統開始出現。閑聊型個性化對話系統，即是針對開放領域下輸入給出合適回復的同時，輸出的結果能具有人的角色信息。在應用中，無論是虛擬的社交機器人還是智能個人代理回復，都要求對話模型給出的回復具備人物角色信息，因此需要賦予模型人物設定(本文中簡稱為人設)來維持人物角色信息的統一。目前為個性化對話系統構建人設的方法主要分為顯式人設和隱式人設兩種。顯式人設主要通過預先設定的屬性關鍵詞或句子描述等來作為模型個性化的人設信息，在模型輸出結果時利用這些顯式的文本信息來控制模型的生成或選擇過程。相對地，隱式人設則沒有任何顯式定義的文本來作為角色信息，模型通過用戶對話歷史為每個用戶構建隱式的個性向量，以此作為用戶的人設加入到生成過程中，來維持輸出結果的人設一致性。

顯式人設的方法為了構建大規模與人設相關的訓練數據，需要投入大量的人力資源，來模擬相關對話場景或者構造規則。而且，由于顯式人設能夠預先給出人設信息有限，如PERSONA-CHAT數據集中，僅用5句話作為人設信息，因此面對設定之外的輸入，模型仍傾向于給出設定相關的回復，從而降低了回復質量。在實際應用中，面對新的人物或者新的屬性設定均需要重復之前的步驟。因此，顯式人設的方法只適用于固定且小規模的場景范圍。對應地，隱式人設的方法則自動從對話歷史中學習用戶的角色信息，將用戶個性化的角色信息轉換為向量來表示用戶的人設，通過隱式的個性向量來引導模型生成或選擇個性化的回復。因此，隱式人設的方法避免了為每個用戶配置人設的過程，可以在大規模的用戶群體上構建用戶特有的個性化對話模型，面對同樣的輸入根據不同用戶的特點給出個性化回復，可作為用戶的代理回復助手。隱式人設的方式雖然可以通過隱式的個性向量來學習用戶對話歷史中的人物性格和語言習慣等個性化特征。然而現有的研究工作大多從全局層面來構建用戶個性向量，這樣不加區別地使用用戶歷史，最終得到的靜態個性向量包含了對話歷史中用戶所有的個性化特征，在面對不同的輸入時，模型難以表達出用戶具體某個方面的個性特征。Li等人(Li，Piji，et al.“Persona-Aware Tips Generation.”The WorldWide Web Conference.2019)利用用戶歷史為每個用戶構建與個性化相關的關鍵詞，在關鍵詞生成的不同時刻，通過注意力機制將關鍵詞加權求得表示用戶個性的個性向量，而非通過模型訓練得到用戶個性向量。這在一定程度上使得隱式人設從靜態的向量轉變為動態的向量，可以在生成的不同階段進行調整，然而該方法僅關注了顯著的個性化關鍵詞而忽略了用戶個人語言習慣等細微的個性化特征。

發明內容

針對上述問題，本發明的目的是提供一種基于長短時記憶信息的個性化對話生成方法和系統，其通過模擬人的記憶類型提出了基于長、短時記憶信息的個性化對話生成模型，針對不同內容和不同時刻的輸入區別對待對話歷史，在解碼過程中提供不同維度的記憶信息作為動態的隱式人設，使生成的結果更加符合真實多變的對話場景。