[發明專利]基于多視角注意力機制的深度文本排序方法

有效

• 申請號: 202010824405.2
• 申請日: 2020-08-17
• 公開（公告）號: CN112115253B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 李明磊;洪馮;王穎;陳宇翔;徐治緯;張記強
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F16/338
• 分類號: G06F16/338;G06N3/04;G06N3/08
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

本發明涉及一種基于多視角注意力機制的深度文本排序架構，其中，包括：輸入層，用于輸入網絡模型中的數據；編碼層使用雙向長短期記憶網絡分別編碼查詢和文本中單詞的上下文特征，在雙向長短期記憶網絡中包括前向LSTM和后向LSTM；內部交互層，用來建模文本中不同單詞的重要程度，對重要程度不同的單詞給予不同的權重，采用自注意力機制建模查詢與文本各自內部的重要語義信息；外部交互層，用來建模查詢與文本之間的交互相關性，采用雙向注意力機制來捕獲查詢與文本交互過程中的匹配模式；輸出層，將外部交互層的輸出作為輸入，輸出查詢與文本的相關性分數作為排序依據。

技術領域

本發明屬于信息檢索領域，具體涉及一種基于多視角注意力機制的深度文本排序方法。

背景技術

文本排序是指給定查詢和候選文本集合，在候選文本集合中找到與查詢相關的文本并按照相關性排序的過程。一種可靠的文本排序方法將大大提升文本檢索的效率并降低人工成本，這在內容過濾、輿情分析、態勢感知等領域具有較高的研究價值和應用需求。

早期的信息檢索排序方法主要是基于關鍵字的查詢文本匹配。隨著機器學習算法的發展，人們提出了效果更好的檢索機制。邏輯推理方法使用邏輯回歸概率來確定查詢和文檔之間的相關性。信息檢索中的其他傳統技術包括基于Boosting的方法、基于TF-IDF相似度和Okapi BM25是最常用的基于術語的文本搜索和排序方法。

隨著深度神經網絡在文本數據特征表示學習中的成功，人們提出了一些用于文本檢索的神經網絡排序方法。現有的神經網絡排序方法可以分為兩類，即以基于表示的匹配方法和基于交互的匹配方法。

在基于表示的方法中，深度結構語義方法使用簡單的前向神經網絡來學習查詢和文本的語義表示，并使用余弦相似度函數計算它們的語義相似度。卷積深度結構語義方法使用卷積層表示詞匯的三元組特征，而Palangi等人提出的方法則使用長短期記憶網絡LSTM編碼器的最后輸出狀態作為查詢和文本的特征，同樣這兩個方法都使用查詢和文檔表示之間的余弦相似度函數來計算它們的相關性。在Hu等人提出的工作中，作者提出了卷積神經網絡文本語義匹配方法 Architecture-I(ARC-I)，該方法也使用卷積結構來創建查詢和文本的表示，并使用前饋神經網絡來計算它們的相關性。所有這些方法都使用了查詢和文本的文本級語義表示。

在Guo等人提出了深度語義匹配方法，該方法利用了查詢詞和文檔詞之間的交互特征。Hu等人提出的Architecture-II(ARC-II)使用卷積運算來計算文本的交互特征，并將這些特征反饋到一個深度前饋網絡中，以計算相關性得分。MatchPyramid方法則利用查詢和文本詞向量之間的點積作為交互特征，然后利用卷積層計算相關度得分。這些方法都使用了基于交互的文本匹配方法。

當文本較長時，或者與查詢有很少的詞匯字面重疊時，傳統的技術通常不能取得較好地效果。與傳統的方法相比，神經網絡排序方法具有足夠的建模能力以及更大的潛力來學習這些復雜任務。

在文本檢索的大多數情況下，與查詢相關的文本是來自文本中的某個或者某幾個句子。因此，將整個文本的表示與查詢的表示相匹配不會產生很好的結果，基于表示的方法往往效果不能使人滿意。因為文本的表示中還包含來自其他不相關部分的特征。

基于交互的匹配方法的一個共同限制是它們沒有充分利用文本中內在的層次結構，因此，在文本較長的情況下效果常常表現不佳。

發明內容

本發明的目的在于提供一種基于多視角注意力機制的深度文本排序架構，用于解決現有排序方法對文本較短或較長都有很大局限性，對于非對稱的文本導致了現有文本匹配方法難以捕獲文本中的有效語義信息。