[發明專利]一種面向開放域問答的基于機器閱讀理解的答案獲取方法及系統

有效

• 申請號: 202010111750.1
• 申請日: 2020-02-24
• 公開（公告）號: CN111324717B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 彭敏;李冬;郭天翼;武涵;胡星燦;張鼎
• 申請（專利權）人: 武漢大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06N3/0455;G06N3/044;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 羅飛

1.一種面向開放域問答的基于機器閱讀理解的答案獲取方法，其特征在于，包括：

S1：獲取閱讀理解數據集，劃分出訓練集、驗證集和測試集，對獲取的閱讀理解數據集進行預處理；

S2：構建閱讀理解的答案獲取模型，閱讀理解的答案獲取模型包括文檔和問題的語義編碼模塊、信息交互編碼模塊以及答案獲取模塊，其中，文檔和問題的語義編碼模塊用于從輸入的數據集中捕獲和編碼得到文檔的上下文語義表示和問題的上下文語義表示，信息交互編碼模塊用于根據文檔的上下文語義表示和問題的上下文語義表示，捕獲和編碼得到與問題相關的文檔編碼表示，答案獲取模塊用于根據與問題相關的文檔編碼表示，獲取答案；

S3：根據劃分出的訓練集和設置的損失函數，對閱讀理解的答案獲取模型包含的文檔和問題的語義編碼模塊、信息交互編碼模塊以及答案獲取模塊進行聯合訓練，獲得訓練好的閱讀理解的答案獲取模型；

S4：利用訓練好的閱讀理解的答案獲取模型對待處理的數據進行預測，得到對應的答案；

其中，文檔和問題的語義編碼模塊采用BERT的預訓練語言模型，BERT的預訓練語言模型包括多頭自注意力層，S2中文檔和問題的語義編碼模塊用于從輸入的數據集中捕獲和編碼得到文檔的上下文語義表示和問題的上下文語義表示，包括：

通過以下公式計算自注意力：

其中，Q表示查詢矩陣，K表示鍵矩陣，V表示值矩陣，T表示矩陣的轉置操作，d_k是一個參數；

根據計算出的多組自注意力，得到多頭注意力層的最終輸出：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，head₁、head_h分別表示第一組和第h組自注意力，W^o是一個權重矩陣，并且，在輸入嵌入的基礎上增加位置嵌入來標記并保存文本間的位置信息，從而得到問題與文檔的序列信息，多頭注意力層的最終輸出為文檔的上下文語義表示和問題的上下文語義表示；

信息交互編碼模塊采用信息交互注意力網絡，S2中信息交互編碼模塊用于根據文檔的上下文語義表示和問題的上下文語義表示，捕獲和編碼得到與問題相關的文檔編碼表示，包括：

計算注意力矩陣中的元素：

此處的W′與v分別是權重矩陣和權重向量，p_i表示文檔的上下文語義表示，q_j表示問題的上下文語義表示；

基于注意力矩陣的元素，得到文檔對問題的注意力上下文向量c_i：

將注意力上下文向量與文檔上下文語義表示進行并聯，得到新的帶注意力的文檔向量，作為與問題相關的文檔編碼表示p′_i：

p′_i＝[p_i；c_i]。

2.如權利要求1所述的方法，其特征在于，S1包括：

S1.1：從已有的數據源獲取閱讀理解數據集，劃分出訓練集、驗證集和測試集，其中，閱讀理解數據集中包括文檔和問題；

S1.2：對閱讀理解數據集中包含的文檔和問題進行拆分，使得每個問題與文檔進行對應，刪除數據集中的無效數據。

3.如權利要求1所述的方法，其特征在于，答案獲取模塊采用指針網絡PointerNetworks，指針網絡包括RNN編碼器和解碼器，答案獲取模塊用于根據與問題相關的文檔編碼表示，獲取答案，包括：

將與問題相關的文檔編碼表示輸入RNN編碼器處理，通過注意力向量進行解碼，取歸一化后的注意力向量中的最大值所對應的位置作為解碼器的當前輸出，解碼公式如下：

其中，e_j是RNN編碼器的隱狀態，d_i表示解碼器的第i個隱狀態，j∈(1,...m)，PointerNetworks的解碼次數為兩次，i∈{1,2}，C_i表示第i個指針指向的位置；

根據s＝softmax(u¹)、e＝softmax(u²)獲得答案的開始位置概率向量與結束位置概率向量，從而得到預測的答案。