[發明專利]一種基于哈希學習的問答系統構建方法

有效

• 申請號: 201910361175.8
• 申請日: 2019-04-30
• 公開（公告）號: CN110110063B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 李武軍;徐棟
• 申請（專利權）人: 南京大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

1.一種基于哈希學習的問答系統構建方法，其特征在于，具體包括以下步驟：

1)當有和問答系統應用場景相關的公開問答數據集或自己標注的問答數據集時，直接使用該數據集訓練模型，當缺少訓練數據時，從互聯網數據中構造問答訓練集；

2)根據問答訓練集，構建并訓練問答系統網絡模型；

3)通過答案收集算法收集答案并構建答案知識庫；

4)使用問答系統網絡模型計算答案知識庫中答案的二值矩陣表示，建立答案二值矩陣表示數據庫；

5)對于問答系統接收到的問題，使用問答系統網絡模型計算問題編碼，然后問答系統網絡模型根據問題編碼和答案二值矩陣表示計算問題和答案的匹配程度，再基于匹配程度對答案進行排序；

6)當答案知識庫中沒有合適的答案時，答案收集算法根據問題重新收集答案，然后使用問答系統網絡模型計算其二值矩陣表示，更新到答案知識庫和答案二值矩陣表示數據庫中；

7)根據答案排序的結果和系統要求做出響應；

所述步驟1)中，如果存在和問答系統應用場景相關的公開問答數據集或自己標注的問答數據集時，直接使用該數據集訓練模型；當不存在標注問答訓練集時，首先收集互聯網上相關領域的問題集，通過文本分類技術對問題集進行篩選，然后使用閱讀理解技術生成問題的答案，經過后處理生成問答訓練集；

所述步驟2)中，所構造的問答系統網絡模型使用預訓練自注意力網絡模型提取問題和答案的特征表示，預訓練自注意力網絡模型使用兩個預訓練語言模型編碼器分別對問題和答案進行編碼；在問題編碼器和答案編碼器之后分別添加一層全連接層，全連接層可以是固定參數的單位陣，也可以是可學習的參數矩陣，全連接層的輸出是問題和答案的實值矩陣表示；在答案全連接層后添加一層答案哈希層，答案哈希層的輸出是答案的二值矩陣表示；問題全連接層后不添加問題哈希層；在問題全連接層和答案哈希層之后，分別添加一層交互層分別計算問題和答案的向量表示；在問題和答案的交互層之后，添加一層相似度層計算問題和答案的相似度；

在問答系統網絡模型的訓練過程中，其損失函數由兩部分構成，使用三元組hinge損失為問題和答案的相似度建模，使用范數損失為答案的二值矩陣表示建模；在求解優化問題時，使用梯度反向傳播算法優化問答系統網絡模型的參數；

問答系統網絡模型的損失函數由兩部分組成：

1)為問題和答案的相似度建模的三元組hinge損失其中q_i,p_i,n_i分別表示問題、正確答案、錯誤答案的向量表示；

2)為答案的二值矩陣表示建模的范數損失其中分別表示正確答案的實值矩陣表示、正確答案的二值矩陣表示、錯誤答案的實值矩陣表示、錯誤答案的二值矩陣表示；

結合以上兩部分損失，可以得到如下優化問題：

其中β是權重系數，N是批處理量的大小，l是句子的長度，r是二值編碼的長度；在求解以上優化問題時，對目標函數(4)進行求導，使用梯度反向傳播算法優化問答系統網絡模型的參數。

2.如權利要求1所述的基于哈希學習的問答系統構建方法，其特征在于，所述步驟3)中，根據問答系統的應用場景需要，收集相應領域的知識，以候選答案的形式建立答案知識庫。

3.如權利要求1所述的基于哈希學習的問答系統構建方法，其特征在于，所述步驟4)中，將答案知識庫中的答案作為問答系統網絡模型中答案編碼器的輸入，再將編碼器的輸出輸入到全連接層，計算并輸出對應的實值矩陣表示；將實值矩陣表示輸入到答案哈希層，計算并輸出對應的二值矩陣表示；將二值矩陣表示與答案一一對應存儲在內存中，建立答案二值矩陣表示數據庫。

4.如權利要求1所述的基于哈希學習的問答系統構建方法，其特征在于，所述步驟5)中，將接收到的問題作為問答系統網絡模型問題編碼器的輸入，再將編碼器的輸出輸入到全連接層，計算并輸出對應的實值矩陣表示；然后將得到的問題矩陣表示和數據庫中答案的二值矩陣表示分別輸入到交互層中，計算并輸出問題和答案的向量表示；將問題和答案的向量表示輸入到相似度層，計算并輸出問題和答案的相似度；根據問題和答案的相似度對答案知識庫中所有的答案進行降序排序。