[發明專利]面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法

有效

• 申請號: 202110371079.9
• 申請日: 2021-04-07
• 公開（公告）號: CN113065358B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 鹿文鵬;趙鵬宇;張騫;闞保碩;左有慧
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/194;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法，屬于人工智能、自然語言處理技術領域。本發明要解決的技術問題為如何準確地判斷一對文本的語義是否相同，采用的技術方案為：通過構建并訓練由多粒度嵌入模塊、多粒度對齊模塊、特征融合編碼模塊以及標簽預測模塊構成的文本對語義匹配模型，獲取不同文本間的字粒度、詞粒度的相關性信息，并進一步得到文本在不同粒度上的最終語義表示，隨后通過特征融合編碼得到文本的深層語義信息表示，同時計算文本間相似度得到最終的文本對語義匹配張量，最后根據文本對語義匹配張量預測文本對的匹配程度，以達到判斷文本對語義是否匹配的目標。

技術領域

本發明涉及人工智能、自然語言處理技術領域，具體涉及一種面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法和裝置。

背景技術

文本對語義匹配任務旨在判斷兩個文本的語義是否一致，是許多自然語言處理任務的基礎。在銀行客戶在線咨詢服務中，文本對語義匹配可以用來判斷用戶提出的問題與系統回復的語義是否匹配，即判斷是否可用該回答回復用戶；也可用來判斷用戶咨詢的問題與系統中存儲的問題語義是否一致，即是否可以用系統中存儲的標準問題所對應的答案來回復用戶的咨詢。文本對語義匹配是一項極具挑戰的工作，該問題目前還未能完善解決。

現有方法可以分為基于表示的方法和基于交互的方法。基于表示的方法分別對兩個文本進行編碼，抽取出深層語義信息，然后對兩個文本的深層語義信息計算語義相似度；這種方法雖然可以通過設計編碼器來捕獲文本蘊含的語義信息，但是忽略了在編碼過程中文本對相似性信息缺失的問題，并且因為缺乏交互操作，所以獲取的交互信息有限。基于交互的方法則是在文本深層語義信息被抽取出來前執行交互操作，隨著注意力機制的出現，很多工作都將注意力機制作為交互方法加入到文本匹配的框架中；然而，現有的方法往往側重于詞語粒度的交互，而忽視了字粒度的交互。有一些工作考慮分別在字粒度和詞粒度級別上對文本進行編碼，隨后將同一文本的不同粒度上的編碼進行融合，最后將融合后的信息進行復雜的交互操作；這些工作雖然考慮了多粒度，并且增加了復雜的交互操作，但是他們依然忽略了多粒度之間的交互，而且他們在不同粒度融合后，并沒有考慮進一步編碼以捕獲更深層的語義信息。

發明內容

本發明的技術任務是提供面向銀行咨詢服務基于多粒度對齊的文本對語義匹配方法，該方法是通過構建由多粒度嵌入模塊、多粒度對齊模塊、特征融合編碼模塊和標簽預測模塊組成的文本對語義匹配模型，以達到判斷文本對語義是否匹配的目標；具體如下：

多粒度嵌入模塊對輸入的句子以字粒度和詞粒度分別進行嵌入操作，得到文本的多粒度嵌入表示；

多粒度對齊模塊對不同文本間的字和詞粒度嵌入表示分別進行編碼和軟對齊操作，同時增強文本語義表示的質量，分別得到文本的字和詞最終語義表示；

特征融合編碼模塊對文本的字和詞最終語義表示進行融合，并對其進行編碼得到文本的深層語義特征表示，根據相似度計算得到最終的文本對語義匹配張量；

標簽預測模塊對最終的文本對語義匹配張量進行處理，從而得出一個匹配度數值，將其與設立的閾值進行比較，以此判斷文本對的語義是否匹配。

作為優選，所述多粒度嵌入模塊用于構建字詞映射轉換表、構建輸入模塊、構建字詞向量映射層；

其中，構建字詞映射轉換表：映射規則為：以數字1為起始，隨后按照每個字或詞被錄入字詞表的順序依次遞增排序，從而形成本發明所需的字詞映射轉換表；其中，字詞表根據文本對語義匹配斷字處理知識庫和分詞知識庫構建，該知識庫通過對文本對語義匹配知識庫的原始數據進行斷字和分詞預處理操作而得；其后，再使用Word2Vec訓練字詞向量模型，得到各字詞的字詞向量矩陣；