[發明專利]一種基于元學習的個性化對話改寫方法

有效

• 申請號: 202011457909.1
• 申請日: 2020-12-11
• 公開（公告）號: CN112487169B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 孫憶南;李思
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于元學習的個性化對話改寫方法，屬于自然語言處理領域。該方法的基本思想是通過元學習減輕個性化對話改寫中的過擬合問題。該方法的步驟包括：基于不同用戶畫像數據構建多個相關的個性化對話改寫任務，通過元學習在相關任務上進行聯合訓練，獲得對新任務敏感的模型參數。當面向新任務時，使用此參數初始化的模型進行訓練從而獲得面向新任務的個性化對話改寫模型。利用本發明實施例，可以使模型具有快速學習此類相關任務的能力。當模型用在新的任務數據上時，不需要從頭學習，而是基于現有的快速學習此類任務的能力在新任務上快速擬合，減弱過擬合問題，從而提升個性化對話改寫的效果，具有很大的實用價值。

技術領域

本發明涉及自然語言處理領域，特別是指一種基于元學習的個性化對話改寫方法。

背景技術

隨著對話生成技術的發展，人類不滿足于讓機器根據用戶的輸入簡單生成對話，而是希望機器能擁有個性化的特征，比如性別，愛好，情感等等。現有方法通過將機器生成的回復與用戶畫像信息相結合，從而使機器生成的對話帶有個性化特征。這需要針對用戶畫像信息人工構建原對話數據的改寫數據，從而實現對機器生成對話的個性化改寫。但是受限于人工成本，每個用戶畫像的改寫數據量不足以充分訓練深度模型，因此使用深度模型都會出現一定程度的過擬合問題。

與深度模型相比，人類可以明智地利用以往經驗并采取行動以適應各種新的情況。對于一個新的任務，人類能夠利用以往經驗來解決，而不是通過海量數據從頭學起。比如一個會騎自行車的人，學習騎摩托車會使用到騎自行車時的經驗。元學習是朝這個方向發展的關鍵一步，它們可以在其生命周期內不斷學習各種相關任務，當面向新任務時，可以通過少量監督樣本快速擬合。

因此，本專利提出一種基于元學習的個性化對話改寫方法。首先將多個帶有用戶畫像信息的個性化對話改寫任務視為多個相關任務，使用元學習算法對模型進行訓練，獲得對新任務敏感的模型初始化參數，當面向新任務時，模型可以在少量訓練數據的情況下快速擬合，從而在一定程度上緩解過擬合問題。

發明內容

本專利提出一種基于元學習的個性化對話改寫方法。模型在訓練階段學習多個相關任務，從而獲得一個對新任務數據敏感的初始化參數，當面向新任務時，模型參數可以在少量監督信息的情況下快速擬合，從而用于基于新用戶畫像的對話改寫任務。

一種基于元學習的個性化對話改寫方法，包括以下步驟：

步驟S1：針對每個用戶畫像，構建對話改寫數據，再劃分為支撐集和查詢集用于模型訓練；

步驟S2：初始化編碼器-解碼器模型參數，模型輸入為用戶畫像信息和原始對話，輸出為改寫的對話；

步驟S3：針對每個用戶畫像構建的改寫數據，使用支撐集訓練模型，更新模型參數，再使用查詢集獲得參數更新的梯度信息；

步驟S4：使用在每個任務的查詢集上獲得的梯度信息更新步驟2中初始化編碼器-解碼器模型的參數，獲得用于下游任務的模型參數；

步驟S5：針對新的對話改寫任務，使用步驟S4得到的初始化參數初始化模型，在新的改寫數據上訓練后即可用于基于新的用戶畫像信息的對話改寫。

本發明的有益效果在于：通過構建多個相關任務，使用元學習算法進行多任務訓練可以使模型學習到如何快速學習此類任務的能力，當模型用在新的任務數據上時，不需要從頭學習，而是基于現有的快速學習此類任務的能力在新任務的訓練數據上快速擬合。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明一種基于元學習的個性化對話改寫方法的流程圖。