[發明專利]一種基于深度學習和主題模型的問答系統實現方法

有效

• 申請號: 201810330697.7
• 申請日: 2018-04-13
• 公開（公告）號: CN108763284B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 詹國輝;俞祝良
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于深度學習和主題模型的問答系統實現方法，其特征在于，包括以下步驟：

S1、將問句輸入Twitter LDA主題模型獲得問句的主題類型，并提取相應主題詞，將輸入問句和主題詞表示為詞向量；

S2、問答模型使用sequence-to-sequence編碼解碼框架，將輸入問句的詞向量輸入RNN循環神經網絡編碼，獲取問句的編碼隱藏層狀態向量；

S3、解碼RNN循環神經網絡使用聯合注意力機制結合問句的局部和全局混合語義向量，進行解碼生成詞，包括以下步驟：

S31、根據RNN編碼隱藏層狀態向量將編碼中最后時刻隱藏層狀態向量當作問句的全局語義編碼向量，即如下所示：

其中，c表示語義編碼向量，q表示線性組合函數，為編碼最后時刻隱藏層狀態向量；

與全局語義向量不同，注意力機制能動態選擇和線性組合的不同部分，因此c_t表示局部語義編碼向量，即如下所示：

其中，c_t表示不同時刻的語義編碼向量，α_tj表示注意力機制的權重大小，e_tj表示多層感知器神經網絡，s_t-1表示解碼RNN的隱藏層狀態向量，h_j表示編碼RNN隱藏層狀態向量；另外的參數W_a、U_a為注意力模型需要學習的參數；

S32、解碼RNN中使用主題的注意力和問句的注意力組成聯合注意力機制，聯合注意力機制能充分利用主題詞和問句的編碼語義向量，從而解碼RNN利用它進行生成答案，相比傳統注意力機制，聯合注意力機制利用步驟S31中全局語義編碼向量和局部語義編碼向量的混合作為注意力機制的輸入，進行主題的注意力和問句的注意力權重參數的學習，一方面能引入主題詞生成主題相關答案，另一方面能減少主題模型中無關主題詞噪聲數據的影響，注意力機制的權重參數計算分別如下：

其中，s_t-1表示解碼RNN的第t-1個隱藏層狀態向量，h_T是輸入問句的最后一個隱藏層狀態向量，k_j為主題詞向量，h_j表示編碼RNN隱藏層狀態向量，η₀是一個多層感知器，為主題注意力機制權重參數，為問句注意力機制權重參數；

S33、解碼RNN在t時刻利用聯合注意力機制信息進行隱藏層狀態向量的計算如下：

s_t＝f(y_t-1，s_t-1，c_t，o_t)

其中，s_t∈Rⁿ是序列模型在t時刻隱層狀態，c_t是t時刻問句message語義編碼向量，o_t是t時刻主題詞Topic主題語義向量，y_t-1表示t-1時刻預測詞，f函數使用GRU作為非線性轉換單元，為主題注意力機制權重參數，為問句注意力機制權重參數；

S34、利用步驟S33中解碼RNN隱藏層狀態向量s_t和y_t-1即可預測t時刻詞y_t的概率p_v(y_t)，為了增加主題詞在對話答案中出現的概率增加主題詞的偏置概率項p_k(y_t)；對偏置概率項進一步使用主題的注意力中的主題詞權重大小進一步減少無關主題詞的影響，促進與問句相關性強的主題詞出現在生成答案中，預測詞生成概率計算如下：

其中，p_v(y_t)表示生成普通詞的概率，p_k(y_t)表示主題詞偏置概率，為主題注意力機制權重參數；

S4、使用大規模對話語料訓練基于編碼解碼框架的深度學習主題問答模型；

S5、利用訓練的問答模型預測輸入問句的答案，生成與問句主題相關的答案。