[發(fā)明專利]基于細粒度局部信息增強的對話結(jié)構(gòu)感知對話方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210109486.7
• 申請日: 2022-01-28
• 公開（公告）號: CN114490991A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 陳羽中;陳澤林
• 申請（專利權(quán)）人: 福州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 張燈燦;蔡學俊

1.一種基于細粒度局部信息增強的對話結(jié)構(gòu)感知對話方法，其特征在于，包括以下步驟：

步驟A：獲取特定場景的多輪對話文本，并標注每個多輪對話回復(fù)所屬的類別，構(gòu)建帶正負類別標簽的訓練集D；

步驟B：使用訓練集D訓練細粒度局部信息增強的對話結(jié)構(gòu)感知深度學習網(wǎng)絡(luò)模型SAFL，用于選擇給定多輪對話上下文對應(yīng)的回復(fù)；

步驟C：將多輪對話上下文與回復(fù)集輸入到訓練后的深度學習網(wǎng)絡(luò)模型SAFL中，得到對應(yīng)多輪對話上下文最合適的回復(fù)。

2.根據(jù)權(quán)利要求1所述的基于細粒度局部信息增強的對話結(jié)構(gòu)感知對話方法，其特征在于，所述步驟B具體包括以下步驟：

步驟B1：將訓練集D的每個三元組形式的訓練樣本作為SAFL模型的輸入，所述三元組形式的訓練樣本包括多輪對話上下文、回復(fù)、標簽；SAFL模型使用預(yù)訓練語言模型BERT作為基礎(chǔ)，利用BERT的多層注意力機制學習到結(jié)合語境的上下文語義表示；同時SAFL模型采用多任務(wù)學習方式挖掘BERT的語義理解能力，主任務(wù)是多輪對話回復(fù)選擇任務(wù)，輔助任務(wù)是隨機滑動窗口回復(fù)預(yù)測任務(wù)以及對話結(jié)構(gòu)感知任務(wù)；

步驟B2：在輔助任務(wù)部分，SAFL模型導出預(yù)訓練語言模型BERT，利用隨機滑動窗口回復(fù)預(yù)測任務(wù)以及對話結(jié)構(gòu)感知任務(wù)優(yōu)化預(yù)訓練語言模型；隨機滑動窗口回復(fù)預(yù)測任務(wù)在多輪對話上下文中采樣不同位置、大小的窗口數(shù)據(jù)，使用預(yù)訓練語言模型編碼對話窗口，加強預(yù)訓練語言模型對于對話局部信息的理解能力；對話結(jié)構(gòu)感知任務(wù)根據(jù)對話人說話的先后順序構(gòu)造圖結(jié)構(gòu)，并使用GCN進行編碼，促使預(yù)訓練語言模型學習正確的對話結(jié)構(gòu)所具備的特征，讓預(yù)訓練語言模型從另一個角度理解對話數(shù)據(jù)；

步驟B3：在主任務(wù)，即多輪對話回復(fù)選擇任務(wù)中，SAFL模型采用重點局部信息蒸餾模塊從預(yù)訓練語言模型的輸出中提取出細粒度的局部語義信息，通過門控機制對全局信息和局部信息進行進一步的融合篩選，并將篩選得到的融合特征與多粒度局部信息進行融合，輸入到分類層中進行多輪對話上下文與回復(fù)之間的合理性分數(shù)的計算，評估當前回復(fù)是否對應(yīng)給定的多輪對話上下文；最后根據(jù)目標損失函數(shù)，利用反向傳播方法計算深度學習網(wǎng)絡(luò)模型SAFL中的各參數(shù)的梯度，并利用隨機梯度下降方法更新參數(shù)；

步驟B4：當深度學習網(wǎng)絡(luò)模型SAFL產(chǎn)生的損失值迭代變化小于設(shè)定閾值或達到最大迭代次數(shù)，終止深度學習網(wǎng)絡(luò)模型SAFL的訓練。

3.根據(jù)權(quán)利要求2所述的基于細粒度局部信息增強的對話結(jié)構(gòu)感知對話方法，其特征在于，所述步驟B1具體包括以下步驟：

步驟B11：將u代表上下文中的話語，r代表回復(fù)，m代表著話語的個數(shù)，將SAFL的輸入拼接成如下長序列形式：

x＝{[CLS]，u₁，[EOT]，u₂，[EOT]，...，[EOT]，u_m，[SEP]，r，[SEP]}

其中，x為拼接得到的長文本；[CLS]和[SEP]為分隔符，[EOT]為SAFL用于學習局部信息的特殊標記；

步驟B12：通過預(yù)訓練語言模型BERT的詞典與模型的嵌入層，將x分別映射為詞嵌入表示、位置嵌入表示與段落嵌入表示；

步驟B13：將每個詞的詞嵌入表示、位置嵌入表示與段落嵌入表示相加，得到融合后的嵌入表示，并使用BERT的多層Transformer網(wǎng)絡(luò)進行編碼，從而獲取到序列的高層語義特征表示E。