[發明專利]一種基于深度分層編碼的智能語義匹配方法和裝置

有效

• 申請號: 202010103505.6
• 申請日: 2020-02-20
• 公開（公告）號: CN111325028B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 鹿文鵬;于瑞;張旭;喬新曉;成金勇;王燦
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種基于深度分層編碼的智能語義匹配方法和裝置，屬于人工智能、自然語言處理技術領域，本發明要解決的技術問題為如何捕獲更多的語義上下文信息和句子間的交互信息，以實現句子的智能語義匹配，采用的技術方案為：該方法是通過構建并訓練由嵌入層、深度分層編碼表示層、分層特征交互匹配層和預測層組成的句子匹配模型，實現對句子的深度分層編碼表示，從而獲取更多的語義上下文信息和句子間的交互信息，同時實現分層特征交互匹配機制，以達到對句子進行智能語義匹配的目標。該裝置包括句子匹配知識庫構建單元、訓練數據集生成單元、句子匹配模型構建單元及句子匹配模型訓練單元。

技術領域

本發明涉及人工智能、自然語言處理技術領域，具體地說是一種基于深度分層編碼的智能語義匹配方法和裝置。

背景技術

近年來，句子的語義匹配方法在自然語言處理領域越來越受重視。究其原因，眾多自然語言處理任務以句子的語義匹配為基礎，在一定程度上可以視為句子語義匹配任務的拓展。例如，“自動問答”任務可以通過計算“問題”與“候選答案”的匹配度進行處理；“信息檢索”任務可以視為是在計算“查詢句子”與“匹配文檔”的匹配度。正因如此，句子的語義匹配在自然語言處理領域中起著至關重要的作用。衡量句子之間內在的語義匹配程度是一項非常有挑戰性的工作，到目前為止，現有技術仍沒有實質性地解決這一問題。

通過分析和研究，不難發現現有技術中大多都是以卷積神經網絡模型或循環神經網絡模型為基礎的，而這兩種模型自身特點和局限性導致其無法徹底解決這一問題。其中，卷積神經網絡雖然擅長用不同的核函數捕捉和表示局部特征，但它忽略了文本中的序列信息，不適用于處理序列信息任務；循環神經網絡雖然可以處理序列信息，但是它們大多只生成最終的向量表示而不考慮句子的層次關系，這可能會丟失一些重要的中間編碼信息。而對于句子的語義匹配任務，句子中的詞語順序和句子的層次信息都是至關重要的，因此，單純使用基于卷積神經網絡模型或循環神經網絡模型的方法幾乎無法獲得令人滿意的結果。

故如何捕獲更多的語義上下文信息和句子間的交互信息，并實現一種更加有效的語義匹配方式，以提高對句子進行智能語義匹配的準確率，是目前亟待解決的技術問題。

發明內容

本發明的技術任務是提供一種基于深度分層編碼的智能語義匹配方法和裝置，來達到捕獲更多的語義上下文信息和句子間的交互信息，并通過實現一種新的分層特征交互匹配機制，最終達到對句子進行智能語義匹配的目的。

本發明的技術任務是按以下方式實現的，一種基于深度分層編碼的智能語義匹配方法，該方法是通過構建并訓練由嵌入層、深度分層編碼表示層、分層特征交互匹配層和預測層組成的句子匹配模型，以此實現對句子的深度分層編碼表示，獲取更多的語義上下文信息和句子間的交互信息，同時通過實現一種新的分層特征交互匹配機制，以達到對句子進行智能語義匹配的目標；具體如下：

嵌入層對輸入的句子進行嵌入操作，并將結果傳遞給深度分層編碼表示層；

深度分層編碼表示層對由嵌入操作獲取的結果進行編碼操作得到句子的中間編碼表示特征與句子的最終編碼表示特征兩種不同的特征編碼表示；

分層特征交互匹配層對句子的中間編碼表示特征與句子的最終編碼表示特征分別進行匹配處理，得到匹配表征向量；

在預測層使用一個全連接層對匹配表征向量進行一次映射，然后使用sigmoid層將得到的結果映射為指定區間中的一個值作為匹配度數值，根據匹配度數值與設定閥值的相對大小判定輸入的句子對的語義是否匹配。

作為優選，所述嵌入層用于構建字符映射轉換表、構建輸入層及構建字向量映射層；

其中，構建字符映射轉換表：映射規則為：以數字1為起始，隨后按照每個字符被錄入字符表的順序依次遞增排序，從而形成所需的字符映射轉換表；其中，字符表通過句子匹配知識庫構建；其后，本發明再使用Word2Vec訓練字向量模型，得到各字符的字向量矩陣embedding_matrix；