[發明專利]基于預訓練語言模型的局部信息感知對話方法及系統

在審

• 申請號: 202210109478.2
• 申請日: 2022-01-28
• 公開（公告）號: CN114443827A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 陳羽中;陳澤林
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種基于預訓練語言模型的局部信息感知對話方法，其特征在于，包括以下步驟：

步驟A：收集特定場景的多輪對話文本，并標注每個多輪對話回復所屬的類別，構建帶正負類別標簽的訓練集D；

步驟B：使用訓練集D訓練基于預訓練語言模型的局部信息感知深度學習網絡模型PLIP，用于選擇給定多輪對話上下文對應的回復；

步驟C：將多輪對話上下文與回復集輸入到訓練后的局部信息感知深度學習網絡模型PLIP中，得到對應多輪對話上下文最合適的回復。

2.根據權利要求1所述的基于預訓練語言模型的局部信息感知對話方法及系統，其特征在于，所述步驟B具體包括以下步驟：

步驟B1：將訓練集D的每個樣本，以三元組(c,r,y)的形式輸入深度學習網絡模型，其中c＝{u₁,u₂,...,u_m}表示包含m個話語的對話上下文，對上下文中的第t個話語有其中l_t為第t個話語中詞的個數，r為候選回復，l_r為回復中詞的個數，y∈{0,1}為樣本標簽，y＝1表示候選回復是當前上下文的合理回復，y＝0則表示不合理；

其中，深度學習網絡模型PLIP在編碼計算三元組后輸出能夠反映上下文和回復相關程度的評估分數，深度學習網絡模型利用預訓練語言模型的多層注意力機制學習到結合語境的上下文語義表示，同時采用多任務學習策略，在優化主任務即多輪對話回復選擇任務，促進表征向量理解全局信息，學習上下文和回復相關程度的同時，在輔助任務中加強預訓練語言模型對多輪對話的局部上下文的學習，充分挖掘預訓練語言模型的語義理解能力；

步驟B2：在輔助任務部分，深度學習網絡模型PLIP使用隨機滑動窗口回復預測任務進一步加強預訓練語言模型對于多輪對話的局部上下文的理解能力；

其中，隨機滑動窗口回復預測任務在多輪對話上下文中采樣不同起始位置的對話上下文數據，得到對話片段，使用預訓練語言模型編碼對話片段，并預測窗口的回復，讓預訓練語言模型充分學習局部上下文的語義信息；

步驟B3：在多輪對話回復選擇任務中，深度學習網絡模型PLIP采用局部信息感知模塊促進預訓練語言模型生成局部語義信息，同時融合全局信息與局部語義信息，計算多輪對話上下文與回復之間的合理性分數，評估當前回復是否對應給定的多輪對話上下文，最后根據目標損失函數，利用反向傳播方法計算深度學習網絡模型中各參數的梯度，并利用隨機梯度下降方法更新參數；

步驟B4：當深度學習網絡模型PLIP產生的損失值迭代變化小于設定閾值或者達到最大迭代次數，終止深度學習網絡模型的訓練。