[發(fā)明專利]使用注意力模型分析文本信息的方法及裝置、電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110445332.0
• 申請(qǐng)日: 2021-04-23
• 公開(kāi)（公告）號(hào): CN113033213A
• 公開(kāi)（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 焦勇博;于洋;楊絲雨;李鈺
• 申請(qǐng)（專利權(quán)）人: 中國(guó)工商銀行股份有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 李春偉

1.一種使用注意力模型分析文本信息的方法，所述注意力模型包括輸入層、上下文編碼層、信息交互層、信息推理層和輸出層，所述方法包括：

使用所述輸入層將輸入的文本信息中包括的問(wèn)題詞和上下文序列分別轉(zhuǎn)換為問(wèn)題向量Q和上下文向量P；以及

使用所述上下文編碼層分別對(duì)所述問(wèn)題向量Q和所述上下文向量P進(jìn)行編碼和特征提取，得到編碼問(wèn)題特征U和編碼上下文特征H；

使用所述信息交互層融合所述編碼問(wèn)題特征U和所述編碼上下文特征H，得到針對(duì)所述問(wèn)題詞的上下文特征Z；

使用所述信息推理層得到針對(duì)所述上下文特征Z的已編碼上下文段落特征M；以及

使用所述輸出層處理所述已編碼上下文段落特征M，以得到并輸出所述問(wèn)題詞在所述上下文序列中的位置。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述上下文編碼層包括多個(gè)雙向Transformer模塊，每個(gè)雙向Transformer模塊均包括自注意力模塊、前饋神經(jīng)網(wǎng)絡(luò)和輸出模塊。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述信息交互層包括堆疊的多層注意力模塊，每層注意力模塊包括問(wèn)題與上下文對(duì)齊模塊、上下文自對(duì)齊模塊和上下文推理模塊；

所述使用所述信息交互層融合所述編碼問(wèn)題特征U和所述編碼上下文特征H，得到針對(duì)所述問(wèn)題詞的上下文特征Z包括：

使用所述問(wèn)題與上下文對(duì)齊模塊，根據(jù)所述編碼問(wèn)題特征U和所述編碼上下文特征H，得到針對(duì)問(wèn)題詞的上下文段落表示V；

使用所述上下文自對(duì)齊模塊，根據(jù)所述編碼上下文特征H和所述上下文段落表示V，得到所述上下文序列中每個(gè)詞的特征表示以及

使用所述上下文推理模塊，根據(jù)所述每個(gè)詞的特征表示得到針對(duì)所述問(wèn)題詞的上下文特征表示Z。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述使用所述問(wèn)題與上下文對(duì)齊模塊，根據(jù)所述編碼問(wèn)題特征U和所述編碼上下文特征H，得到針對(duì)問(wèn)題詞的上下文段落表示V包括：

計(jì)算所述編碼問(wèn)題特征U和所述編碼上下文特征H之間的第一相似度矩陣E；

根據(jù)所述相似度矩陣E計(jì)算所述上下文序列中每個(gè)詞關(guān)于所述問(wèn)題詞的注意力分布Softmax(E)；以及

根據(jù)所述注意力分布Softmax(E)計(jì)算所述針對(duì)所述問(wèn)題詞的上下文段落表示V。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述根據(jù)所述注意力分布計(jì)算所述針對(duì)所述問(wèn)題詞的上下文段落表示V包括：

根據(jù)所述編碼問(wèn)題特征U和所述注意力分布Softmax(E)，計(jì)算所述上下文序列中每個(gè)詞關(guān)于所述問(wèn)題詞的上下文段落表示矩陣

通過(guò)對(duì)上下文段落表示矩陣中的元素進(jìn)行加權(quán)并求和，計(jì)算所述針對(duì)所述問(wèn)題詞的上下文段落表示V。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述根據(jù)所述編碼上下文特征H和所述上下文段落表示V，計(jì)算所述上下文序列中每個(gè)詞的特征表示包括：

計(jì)算所述上下文序列中每個(gè)詞彼此之間的相似度矩陣S；

根據(jù)所述相似度矩陣S計(jì)算所述上下文序列中每個(gè)詞關(guān)于所述上下文序列的注意力分布Softmax(S)；以及

根據(jù)所述注意力分布Softmax(S)計(jì)算所述上下文序列中每個(gè)詞的特征表示

7.根據(jù)權(quán)利要求6所述的方法，其中，對(duì)于所述多層注意力模塊，根據(jù)第j-1層注意力的相似度矩陣E^j-1和相似度矩陣S^j-1，計(jì)算第j層注意力模塊的相似度矩陣E^j和相似度矩陣S^j，j大于等于1小于等于J，J為注意力模塊的總層數(shù)。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，還包括：使用所述問(wèn)題詞在所述上下文序列中的位置來(lái)確定與所述問(wèn)題詞相對(duì)應(yīng)的至少一個(gè)問(wèn)題，以便提供針對(duì)所述至少一個(gè)問(wèn)題的答復(fù)。