[發明專利]基于transformer模型提取同義語塊對的方法

有效

• 申請號: 202210336467.8
• 申請日: 2022-04-01
• 公開（公告）號: CN114417838B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 殷曉君;殷曉東;王誠文;王鴻濱
• 申請（專利權）人: 北京語言大學
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F40/289
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發明涉及同義語塊對提取技術領域，特別是指一種基于transformer模型提取同義語塊對的方法，方法包括：獲取待提取語句對并輸入到transformer模型，獲取transformer模型內部的ec_att_matrix和ecdc_att_matrix；在ec_att_matrix中，確定滿足第一條件的最小內部矩陣，記錄對應的語塊以及標號，將語塊確定為Query語塊；對每個Query語塊，確定滿足第二條件的最小矩陣，確定Query語塊對應的Title語塊；根據Query語塊以及對應的Title語塊確定同義語塊對。采用本發明，可以解決口語與書面語表達不一致的檢索問題，提高效率和準確率。

技術領域

本發明涉及同義語塊對提取技術領域，特別是指一種基于transformer模型提取同義語塊對的方法及裝置。

背景技術

同義語塊對指的是結合一定上下文信息、可以構成同義關系的語塊對，而且并不是簡單的同義詞。例如，“電動車跑多遠”和“電動車續航里程”是同義語塊對，但其中的“跑-續航”， “多遠-里程”都不能作為上下文無關的同義詞單獨使用。

同義語塊對主要的使用場景是解決同一語義但表述不同的情況，特別是口語和書面語的表達不一致，是搜索引擎面臨的主要問題之一。作為用戶，習慣于口語化輸入Query“電動車跑多遠”，而搜索引擎索引的文章以書面語居多，習慣表述為“電動車續航里程”。如果有相應的同義語塊對，則可以正確檢索出對應的結果。因此，目前亟需一種高效快捷的同義語塊對的提取方法。

發明內容

本發明實施例提供了一種基于transformer模型提取同義語塊對的方法及裝置。所述技術方案如下：

一方面，提供了一種基于transformer模型提取同義語塊對的方法，該方法由區塊鏈管理節點實現，該方法包括：

獲取待提取語句對，將所述待提取語句對輸入到用于提取同義語塊對的transformer模型中，其中，所述待提取語句對包括Query語句以及Title語句；

獲取所述transformer模型內部的self-attention矩陣以及encoder-decoderattention矩陣；其中，所述self-attention矩陣記為ec_att_matrix，所述ec_att_matrix用于表示Query語句與自身之間的關系，所述encoder-decoder attention矩陣記為ecdc_att_matrix，所述ecdc_att_matrix用于表示Query語句與Title語句之間的關系；

在所述ec_att_matrix中，確定滿足第一條件的最小內部矩陣，記錄所述最小內部矩陣對應的語塊以及標號，將所述語塊確定為所述Query語句對應的Query語塊；

對每個Query語塊，在所述ecdc_att_matrix中，確定滿足第二條件的最小矩陣，根據所述最小矩陣確定所述Query語塊對應的Title語塊；

根據所述Query語塊以及對應的Title語塊確定同義語塊對。

可選地，所述在所述ec_att_matrix中，確定滿足第一條件的最小內部矩陣，記錄所述最小內部矩陣對應的語塊以及標號，包括：

在ec_att_matrix中，對于當前的標號i，i=N，尋找滿足第一條件的最小內部矩陣，將所述最小內部矩陣的矩陣左上標號記為(i, i)，右下標號記為(i+k, i+k)；

其中，滿足第一條件包括：

如果存在一個內部矩陣的每一行 q滿足下述兩個條件，其中，i = q =i+k：

1）ec_att_matrix[q][p]之和大于第一閾值T1，其中，i = p =i+k；