[發明專利]融合實體和句子推理信息的問題答案提取方法及電子裝置

在審

• 申請號: 202011078614.3
• 申請日: 2020-10-10
• 公開（公告）號: CN112380835A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 林政;付鵬;劉歡;王偉平;孟丹
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/295;G06F40/30;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 陳艷

1.一種融合實體和句子推理信息的問題答案提取方法，其步驟包括：

1)將一問題與若干目標文檔拼接到一起，輸入到預訓練語言模型中，得到問題的表示Q與文檔的上下文表示C；

2)對表示Q與上下文表示C進行交互，得到融合文檔信息的問題表示Q⁰與融合問題信息的文檔表示C⁰；

3)依據問題表示Q^(t-1)與文檔表示C^t-1，獲取實體圖節點集合E^(t-1)與句子圖節點集合并采用圖注意力網絡對實體圖與句子圖進行節點更新，根據得到的實體圖節點集合E^(t)與句子圖節點集合獲取問題表示Q^(t)與文檔表示C^t，其中t為推理更新次數，t≥1；

4)對實體圖節點集合E^(t)與句子圖節點集合進行融合，將融合結果與文檔表示C^t交互，得到推理更新后的上下文表示C′^(t)；并依據上下文表示C′^(t)，得到該問題的答案預測結果。

2.如權利要求1所述的方法，其特征在于，通過以下步驟得到目標文檔：

1)將若干原始文檔輸入一由預訓練語言模型與一層線性分類器組成的段落選擇模型；

2)根據一閾值，在各原始文檔中選取與所述問題相關的段落，得到若干目標文檔。

3.如權利要求1所述的方法，其特征在于，所述預訓練語言模型包括：BERT模型；對表示Q與上下文表示C進行交互的方法包括：使用雙向注意力機制。

4.如權利要求1所述的方法，其特征在于，通過以下步驟獲取實體圖節點集合E^(t-1)：

1)通過MeanMaxPooling，得到問題表示q^(t-1)與實體表示其中1≤i≤J，J為實體數量；

2)計算問題表示q^(t-1)與各實體表示的相關度

3)對各相關度進行歸一化處理，得到歸一化結果

4)獲取實體圖節點集合

5.如權利要求4所述的方法，其特征在于，通過以下步驟得到的實體圖節點集合E^(t)：

1)計算實體圖節點的中間計算表示其中U、b均為圖注意力網絡參數；

2)獲取歸一化后的注意力系數其中k為實體節點的相鄰實體節點集合B_i中相鄰實體節點個數，為圖注意力網絡參數；

3)計算實體圖節點得到實體圖節點集合E^(t)。

6.如權利要求1所述的方法，其特征在于，通過以下步驟得到句子圖節點集合

1)通過雙向LSTM網絡，得到問題表示與句子表示其中1≤n≤K，K為句子數量；

2)計算問題表示與句子表示的相關度

3)對對所有相關度β_i進行歸一化處理，得到，得到歸一化結果

4)獲取句子圖節點集合

7.如權利要求1所述的方法，其特征在于，采用雙向注意力機制，獲取問題表示Q^(t)＝Bi-Attention(Q^(t-1)，E^(t))；通過以下步驟得到推理更新后的上下文表示C′^(t)：

1)計算門機制參數其中σ為sigmoid函數，W_g、b_g為可訓練參數；

2)計算推理更新后的上下文表示C′^(t)＝f((E^(t)·g^(t))；C^(t))，其中f為tanh函數。