[發明專利]面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法

有效

• 申請號: 202110371079.9
• 申請日: 2021-04-07
• 公開（公告）號: CN113065358B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 鹿文鵬;趙鵬宇;張騫;闞保碩;左有慧
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/194;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

1.面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法，其特征在于，該方法是通過構建并訓練由多粒度嵌入模塊、多粒度對齊模塊、特征融合編碼模塊以及標簽預測模塊構成的文本對語義匹配模型，獲取不同文本間的字和詞粒度的相關性信息，并進一步得到文本在不同粒度上的最終語義表示，隨后通過特征融合編碼得到文本的深層語義信息表示，同時計算文本間相似度得到最終的文本對語義匹配張量，最后根據文本對語義匹配張量預測文本對的匹配程度，以達到判斷文本對語義是否匹配的目標；具體如下：

多粒度嵌入模塊對輸入的句子以字粒度和詞粒度分別進行嵌入操作，得到文本的多粒度嵌入表示；

多粒度對齊模塊對不同文本間的字和詞粒度嵌入表示分別進行編碼和軟對齊操作，同時增強文本語義表示的質量，分別得到文本的字和詞最終語義表示；

特征融合編碼模塊對文本的字和詞最終語義表示進行融合，并對其進行編碼得到文本的深層語義特征表示，根據相似度計算得到最終的文本對語義匹配張量；

標簽預測模塊對最終的文本對語義匹配張量進行處理，從而得出一個匹配度數值，將其與設立的閾值進行比較，以此判斷文本對的語義是否匹配；

所述多粒度對齊模塊的構建過程具體如下：第一層編碼結構使用LSTM對兩個文本的字和詞嵌入表示分別進行編碼，得到字和詞特征表示；隨后將字和詞嵌入表示與對應的字和詞特征表示分別進行Concatenate合并得到字和詞淺層語義表示，并將字和詞淺層語義表示傳遞給第二層編碼結構；對于文本1，公式如下：

其中，[；]表示Concatenate合并操作，N為文本長度；P_i^c和LSTM(P_i^c)分別表示文本1在字粒度下的第i個位置處的字嵌入表示和字特征表示；和分別表示表示文本1在詞粒度下第m個位置處的詞嵌入表示和詞特征表示；和分別表示文本1在字粒度下第i個位置的字淺層語義表示和在詞粒度下第m個位置的詞淺層語義表示；對于文本2，公式如下：

其中，各符號意義與公式(1)、(2)大致相同，不同的是，Q表示文本2，j表示文本2在字粒度下的第j個位置，n表示文本2在詞粒度下的第n個位置；其余表示與此類比，即可明確意義，不再一一贅述；

進一步地，第二層編碼結構對于接收的兩個文本的字淺層語義表示進行軟對齊注意力機制，得到對齊的字淺層語義表示；對于接收的兩個文本的詞淺層語義表示進行軟對齊注意力機制，得到對齊的詞淺層語義表示；對于字粒度的軟對齊注意力機制，公式如下：

其中，s1_ij為在字粒度下文本1的第i個位置和文本2第j個位置的相似度權重，和的含義與公式(1)、(3)一致；為在字粒度下文本1在第i個位置處的對齊的字淺層語義表示，它是根據相似度權重對文本2中每個字的字淺層語義表示加權求和得到的，同理表示文本1在第j個位置處的對齊的字淺層語義表示；

對于詞粒度的軟對齊注意力機制，公式如下：

其中各符號含義與公式(5)-(7)大致相同，只是將上標c代表的字粒度改為上標w代表的詞粒度；和分別表示在詞粒度下文本1在第m個位置處的詞淺層語義表示和對齊的詞淺層語義表示，和分別表示在詞粒度下文本2在第n個位置處的詞淺層語義表示和對齊的詞淺層語義表示；

進一步地，因為文本1得到的對齊的字或詞淺層語義表示是從文本2的字或詞淺層語義表示中獲得的，所以分別將文本1得到的對齊的字和詞淺層語義表示與文本2的字和詞淺層語義表示使用Add相加，分別作為文本2的字和詞最終語義表示；同樣的方法，分別得到文本1的字和詞最終語義表示；公式如下：

其中，p^c、q^c、p^w、q^w分別表示文本1和文本2在字粒度上所有字淺層語義表示的集合，以及在詞粒度上所有詞淺層語義表示的集合；分別表示文本1和文本2在字粒度上所有對齊的字淺層語義表示的集合，以及詞粒度上所有對齊的詞淺層語義表示的集合；分別表示文本1和文本2在字粒度上的字最終語義表示，分別表示文本1和文本2在詞粒度上的詞最終語義表示。