[發明專利]一種問答任務的下游任務處理方法及模型

有效

• 申請號: 202011539404.X
• 申請日: 2020-12-23
• 公開（公告）號: CN112732879B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 王勇;雷沖;陳秋怡
• 申請（專利權）人: 重慶理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/04;G06N3/08
• 代理公司: 重慶博凱知識產權代理有限公司 50212
• 代理人: 胡逸然

1.一種問答任務的下游任務處理方法，其特征在于，包括如下步驟：

S1、將問題與上下文輸入預訓練語言模塊，獲取上下文的語言關聯特征；

S2、利用雙向注意力機制基于上下文的語言關聯特征得到關鍵信息感知的上下文表示H_CKey以及關鍵信息感知的問題表示H_QKey；

S3、利用雙向注意力流基于關鍵信息感知的上下文表示H_CKey以及關鍵信息感知的問題表示H_QKey，得到問題感知的上下文表示G；

S4、利用門機制基于問題感知的上下文表示G計算更新向量z和記憶權重g，利用更新向量z和記憶權重g更新問題感知的上下文表示G得到輸出向量G_g；

S5、利用粒計算基于上下文的語言關聯特征生成上下文粒度向量G_C及序列粒度向量G_CLS，基于上下文粒度向量G_C、序列粒度向量G_CLS及輸出向量G_g生成多角度理解上下文以及上下文總體與局部的關系的輸出向量C_out；

S6、將基于上下文的語言關聯特征生成多角度理解上下文以及上下文總體與局部的關系的輸出向量C_out通過線性層處理后，使用softmax計算上下文中每個字作為答案起止位置的概率，抽取概率最大的連續子序列作為答案。

2.如權利要求1所述的問答任務的下游任務處理方法，其特征在于，上下文的語言關聯特征為H，H＝{h₁,h₂,h₃,...,h_s}，h₁至h_s表示上下文和問題拼接成的序列經過編碼器編碼后的表示，S表示上下文和問題拼接成的序列長度，步驟S2包括：

S201、基于上下文和問題在H中的位置，截取問題截取部分H_Q和上下文截取部分H_C，H_Q＝{h₂,h₃,h₄,...,h_n+1}，H_C＝{h_n+3,h_n+4,...,h_n+m+2}，n表示問題詞的長度，m表示上下文詞的長度；

S202、構建相似性矩陣S，

S＝W_S(H_C,H_Q,H_C·H_Q)

式中，W_S為一個可訓練矩陣；

S203、分別對相似性矩陣S的每行和每列進行softmax運算，得到S₁和S₂，S₁表示對于每個上下文詞，所有的問題詞與之的相關性；S₂表示對于每個問題詞，所有的上下文詞與之的相關性；S₁＝softmax_→(S)，S₂＝softmax_↓(S)；

S204、突出問題關鍵詞和上下文關鍵詞權重；

S205、基于下式生成關鍵信息感知的上下文表示H_CKey以及關鍵信息感知的問題表示H_QKey：

H_CKey＝H_C+H_C⊙A_C

H_QKey＝H_Q+H_Q⊙A_Q

式中，A_C表示與問題關鍵詞相關聯的上下文關鍵部分注意力，A_Q表示與上下文關鍵詞相關聯的問題關鍵部分注意力；

A_C＝S₂·S_Qkey

A_Q＝S₁·S_Ckey

式中，S_Qkey表示突出關鍵詞的問題權重，S_Ckey表示突出關鍵詞的上下文權重；

S_Qkey＝mean_↓(S₁)

S_Ckey＝mean_→(S₂)。