[發明專利]一種多輪任務式對話狀態追蹤方法

有效

• 申請號: 202010241514.1
• 申請日: 2020-03-31
• 公開（公告）號: CN111522923B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 胡佳穎;楊燕;賀樑
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F16/335;G06F16/33
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種多輪任務式對話狀態追蹤方法，其特征用在于采用槽注意力機制提取對話中的關鍵信息，并基于槽之間的關聯性來對這些關鍵特征進行信息重組，利用關聯的并且訓練數據充足的槽的特征來改善模型在數據不足的槽上的追蹤效果，使得后續模塊能生成更加準確的對話狀態，其具體優化包括如下步驟：

步驟一：多輪對話歷史記錄的編碼

對多輪任務式對話中的所有信息使用GRU進行數字化編碼，將歷史記錄X_t＝[u_t-l+1，r_t-l+1，...，u_t，r_t]中的每一個詞映射到一個低緯度的稠密空間中，生成隱含層表示

步驟二：從歷史信息中抽取關鍵信息

對于一個特定的槽s_j，將其槽名編碼成利用注意力機制計算上下文向量c_j，并通過權重賦予的方式對神經網絡輸出的隱含表示由下述a～c式為各個槽s_j提取與其最相關的歷史信息，過濾掉不相關信息：

式中：j為第j個槽；i表示該槽槽名的第i個單詞；a^j表示槽s_j和對話歷史記錄之間的相關性；則是用softmax函數歸一化后的a^j；c_j為上下文向量，代表從整個對話歷史中抓取的該槽的關鍵信息；h^enc為歷史記錄X_t所生成的隱含層，即h^enc＝H_t；T為矩陣轉置運算；

步驟三：關鍵信息的重組與共享

根據mask矩陣對各個槽的關鍵信息進行重組，并將相互間有關聯的槽的信息進行共享，其具體實現步驟如下：

1)關鍵信息的重組：分別使用基于超參數融合和基于K-means算法聚類的方法建立mask矩陣，并根據mask矩陣，對獲得的各個槽的關鍵信息進行重組；

2)關鍵信息的共享：根據mask矩陣由下述h式將槽之間的信息進行選擇性的共享：

式中：int_j為信息重組后的槽s_j的上下文向量；M_ij為mask矩陣M第i行第j列的元素；

步驟四：對話狀態的生成

將步驟三中重組后的關鍵信息輸入解碼器，使其生成更為精確的對話狀態，其具體按下述二步生成：

第一步生成：使用三類分類器將隱含層向量表示H_t映射成“ptr”、“none”和“dontcare”的概率分布，以判斷原對話歷史記錄中用戶對相關槽的需求有所限制，還是對相關槽抱有無所謂的態度，或是沒有明確表明自己態度的三種對話狀態，如果用戶是后兩種對話狀態，那么模型直接為相關槽生成值“don’t?care”或“not?mention”，反之則進入第二步生成；

第二步生成：將步驟三得到的重組后的關鍵信息int與詞向量序列一起送入一個GRU結構進行解碼操作，得到解碼后的向量基于解碼后的向量計算從詞表中生成各個詞的概率和從交互歷史記錄中復制各個詞的概率然后，根據和兩個概率分布，計算預測概率分布其具體生成按下述i～l式進行：

式中：為從詞表中生成詞的概率分布；為從對話記錄中復制詞的概率；為模型最終給出的概率分布；為控制模型行為的開關，它決定了模型是從詞表生成值，還是從原始歷史記錄中復制詞。

2.根據權利要求1所述多輪任務式對話狀態追蹤方法，其特征在于所述基于超參數融合方法建立mask矩陣是將槽名相似度sname_ij和值種類相似度vtype_ij利用超參數α融合，并由下述d式建立槽名相似度矩陣sim：

sim＝α·sname+(1-α)·vtype????(d)；

然后，根據槽名相似度矩陣sim和閾值β按下述e式計算mask矩陣M：