[發明專利]基于transformer模型提取同義語塊對的方法

有效

• 申請號: 202210336467.8
• 申請日: 2022-04-01
• 公開（公告）號: CN114417838B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 殷曉君;殷曉東;王誠文;王鴻濱
• 申請（專利權）人: 北京語言大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/289
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種基于transformer模型提取同義語塊對的方法，其特征在于，所述方法包括：

獲取待提取語句對，將所述待提取語句對輸入到用于提取同義語塊對的transformer模型中，其中，所述待提取語句對包括Query語句以及Title語句；

獲取所述transformer模型內部的self-attention矩陣以及encoder-decoderattention矩陣；其中，所述self-attention矩陣記為ec_att_matrix，所述ec_att_matrix用于表示Query語句與自身之間的關系，所述encoder-decoder attention矩陣記為ecdc_att_matrix，所述ecdc_att_matrix用于表示Query語句與Title語句之間的關系；

在所述ec_att_matrix中，確定滿足第一條件的最小內部矩陣，記錄所述最小內部矩陣對應的語塊以及標號，將所述語塊確定為所述Query語句對應的Query語塊；

對每個Query語塊，在所述ecdc_att_matrix中，確定滿足第二條件的最小矩陣，根據所述最小矩陣確定所述Query語塊對應的Title語塊；

根據所述Query語塊以及對應的Title語塊確定同義語塊對。

2.根據權利要求1所述的方法，其特征在于，所述在所述ec_att_matrix中，確定滿足第一條件的最小內部矩陣，記錄所述最小內部矩陣對應的語塊以及標號，包括：

在ec_att_matrix中，對于當前的標號i，i=N，尋找滿足第一條件的最小內部矩陣，將所述最小內部矩陣的矩陣左上標號記為(i, i)，右下標號記為(i+k, i+k)；

其中，滿足第一條件包括：

如果存在一個內部矩陣的每一行 q滿足下述兩個條件，其中，i = q =i+k：

1）ec_att_matrix[q][p]之和大于第一閾值T1，其中，i = p =i+k；

2）ec_att_matrix[q][h]之和大于第二閾值T2，其中，i = h =i+k 且 h != q；

則將所述內部矩陣確定為最小內部矩陣，將下標i到i+k對應的語塊放入Query語塊集合中。

3.根據權利要求1所述的方法，其特征在于，所述對每個Query語塊，在所述ecdc_att_matrix中，確定滿足第二條件的最小矩陣，包括：

記當前Query語塊對應首尾詞下標為Q_begin和Q_end，尋找滿足第二條件的最小矩陣，將所述最小矩陣的首尾詞下標記為T_begin和T_end，

其中，滿足第二條件包括：

對于每一個i行， Q_begin = i = Q_end:

ecdc_att_matrix[i][j]之和大于第三閾值 T3，其中 T_begin = j =T_end。

4.根據權利要求3所述的方法，其特征在于，所述根據所述最小矩陣確定所述Query語塊對應的Title語塊，包括：

根據所述T_begin和T_end，確定對應的語塊，將所述語塊確定為所述Query語塊對應的Title語塊。

5.根據權利要求1所述的方法，其特征在于，所述根據所述Query語塊以及對應的Title語塊確定同義語塊對，包括：

將所述Query語塊以及對應的Title語塊構成同義語塊對，進行對應存儲。