[發(fā)明專利]一種用于問答系統(tǒng)的答案選擇方法

有效

• 申請?zhí)枺?/td>: 201910332100.7
• 申請日: 2019-04-24
• 公開（公告）號: CN110046244B
• 公開（公告）日: 2021-06-08
• 發(fā)明（設計）人: 陳洪輝;邵太華;蔡飛;蔣丹陽;劉俊先;羅愛民;陳濤;舒振
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06K9/62;G06N3/04
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種用于問答系統(tǒng)的答案選擇方法，其特征在于，包括以下步驟：

A.接收用戶輸入的問題句子和答案句子，利用預訓練得到的詞嵌入模型得出各句子中每個單詞的詞向量，并結(jié)合網(wǎng)絡訓練過程中對詞嵌入模型進行微調(diào)后得出的詞向量，計算得出組合后的單詞向量；

B.從連接的單詞向量中選取有效的特征，得到句子中每個單詞的最終向量；

C.根據(jù)預設的句子長度閾值，在句子長度高于和低于閾值時，采用不同的特征提取器對句子進行處理，生成擬合后的包含上下文信息的句子矩陣表示，為每個輸入句子部署兩個特征提取器，即基于BiLSTM的和基于Transformer的特征提取器，通過二值激活參數(shù)判斷，來處理不同長度的句子；

D.注意力池化層根據(jù)步驟C中得到的包含上下文信息的句子矩陣，得出問題句子和答案句子的注意力相似度，通過分別在相似度矩陣的行和列的每一維度提取最大特征，對問題句子和答案句子進行長度自適應分布式表示，為問題句子和答案句子分別生成分布式向量表示；

E.測量問題句子和答案句子的分布式向量表示之間的余弦相似性，得到各答案句子相對于問題句子的相關性，根據(jù)相關性對答案句子進行排序；

在步驟A中包括以下步驟：

A1.將輸入的問題句子和答案句子均定義為長度為L的句子s，對句子s中的第t個單詞w_t，在語料庫中預訓練得到詞嵌入模型，在其中查找單詞對應的詞向量

A2.在網(wǎng)絡訓練過程中對預訓練的詞嵌入模型參數(shù)進行微調(diào)，使其適用于當前數(shù)據(jù)集，得到更新過的詞嵌入模型，在其中查找出單詞對應的詞向量計算組合后的單詞向量為

在步驟B中包括以下步驟：

B1.部署隱藏層，從連接的單詞向量中選取有效的特征，得到句子中每個單詞的最終向量表示

其中和均為隱藏層參數(shù),的維度為D；

B2.對各句子中的所有單詞進行步驟A1、A2及B1，得到不含上下文信息的句子分布式矩陣表示

在步驟C中，為每個輸入的句子部署兩個特征提取器，即基于BiLSTM的和基于Transformer的特征提取器，通過將兩個特征提取器生成的句子分布式矩陣相加，生成擬合的句子分布式矩陣表示；

在步驟C中，定義每個特征提取器具有一個二值激活參數(shù)，二值激活參數(shù)設置為：

其中flag_lstm為基于BiLSTM的特征抽取器的二值激活參數(shù)，flag_tsfm為基于Transformer的特征提取器的二值激活參數(shù)，L_threshold為句子長度閾值

各句子基于特征提取器的輸入為

其中為基于BiLSTM的特征抽取器的輸入，為基于Transformer的特征抽取器的輸入。

2.根據(jù)權(quán)利要求1所述的一種用于問答系統(tǒng)的答案選擇方法，其特征在于，在步驟C中，當句子長度L低于閾值L_threshold時，句子中第t個單詞的具體操作公式為：

其中，為BiLSTM中第t各單詞的詞向量，i、o、f分別代表BiLSTM中的輸入門，輸出門以及遺忘門，和C分別代表保留的總記憶以及當前單詞保留的記憶，h代表某一方向上帶有記憶的單詞表示，其維度為H，和分別為向前和向后的帶有記憶的單詞表示，以及均為網(wǎng)絡參數(shù)基于BiLSTM的向量表示構(gòu)成包含上下文信息的句子矩陣表示

3.根據(jù)權(quán)利要求1所述一種用于問答系統(tǒng)的答案選擇方法，其特征在于，在步驟C中，當句子長度L高于閾值L_threshold時，對句子進行特征抽取的計算公式為

其中，為Transformer神經(jīng)網(wǎng)絡的多頭自注意力機制中第i個自注意力機制的自注意力相似度；為經(jīng)過第i個自注意力作用的句子矩陣表示；O、W、和U為自注意力參數(shù)；為輸入句子矩陣表示中每一個詞向量的維度，旨在對softmax函數(shù)進行壓縮，為句子基于Transformer的包含上下文信息的句子矩陣表示。