[發明專利]結合循環網絡及BERT的句子相關度獲取方法、系統及介質

有效

• 申請號: 202011031042.3
• 申請日: 2020-09-27
• 公開（公告）號: CN112163429B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 蘇錦鈿;潘雪苗;毛冠文;洪曉斌
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/211;G06N3/0464;G06N3/044;G06N3/048;G06N3/045;G06N3/084
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: ?？玛?/td>

本發明公開了一種結合循環網絡及BERT的句子相關度獲取方法、系統及介質，其中方法包括：對待識別的兩個句子進行分詞，將句子合并成一個句子對，合并各個單詞的位置詞向量、單詞詞向量信息及分段信息作為BERT層的輸入；通過BERT層學習句子及句子之間的上下文信息和關系，輸出詞向量語義序列和全局特征表示；對詞向量語義序列進行學習，獲得包含目標文本的局部特征表示；利用串聯對句子的全局特征表示和局部特征表示進行合并，獲得最終語義表示，根據最終語義表示對句子的相關度進行判斷，并輸出判斷結果。本發明利用BERT學習句子間的上下文信息后，提取句子的局部信息，提高了句子相關度判別的精準度，可廣泛應用于自然語言處理領域。

技術領域

本發明涉及自然語言處理領域，尤其涉及一種結合循環網絡及BERT的句子相關度獲取方法、系統及介質。

背景技術

句子語義相關度的研究是自然語言處理領域中的一個重要子任務，其主要目的是通過機器學習的方式識別兩個句子之間的語義相關程度。在句子相關度方面，目前基于深度學習的工作主要可分為兩大方面：一類是通過修改網絡模型結構，使模型可以更好地擬合句子語義相關度問題；另一類是學習到一個通用或者唯一的句子編碼表示，通過余弦相似度或者全連接層進一步預測語義相似度。第一類方法往往會對某類數據集有較好的效果，但是效果存在瓶頸且無法通用到其他的學習任務中。另一類方法對于預測不同的學習任務很方便，效果一般也不錯，但是需要先在大規模語料上訓練，同時一個通用的句子表示可能會忽略一個句子的語序或者詞匯的小變動，使得對于句子真正的表達含義理解不到位。

早期很多研究人員采用了各種基于特征的表示方式，特別是采用各種經典的神經網絡模型，如卷積神經網絡CNN、長短期記憶網絡LSTM、門控循環單元GRU等。近兩年來，預訓練語言模型及針對任務進行微調的兩階段模型在多個自然語言處理任務上取得了新的最好結果。特別是生成式預訓練GPT和雙向預訓練語言模型BERT等工作證明了利用大規模無標注文本語料學習通用語言表示，并根據具體任務進行微調的方式是可行的?，F有的研究和應用已證明BERT適合用于學習句子中語言單元間的依賴關系，而且BERT中的NSP(NextSentence?Prediction)目標可以促使模型同時學習兩個句子之間的相鄰關系。但目前的研究沒有充分地結合卷積神經網絡和循環神經網絡的優勢，也沒有考慮句子的局部特征對句子相關度的影響。

術語解釋：

BERT：英文全稱為：Bidirectional?Encoding?Representation?fromTransformers，中文為基于Transformers的雙向編碼表示。

SentencePiece：是BERT模型中用于切分句子及單詞的一個工具名稱。

發明內容

為至少一定程度上解決現有技術中存在的技術問題之一，本發明的目的在于提供一種結合循環網絡及BERT的句子相關度獲取方法、系統及介質，利用BERT學習句子對的上下文信息及其關系，接著綜合考慮卷積神經網絡和循環神經網絡的優勢，提出基于時間步的卷積運算，在經典的線性變換卷積運算中添加基于時間步的循環計算，從而更好地學習句子的局部特征信息，然后再合并句子對的全局信息及局部信息并得到最終的語義特征表示，最后將結果通過一個全連接網絡和一個sigmoid網絡進行相關度計算及輸出。

本發明所采用的技術方案是：

一種結合循環網絡及BERT的句子相關度獲取方法，包括以下步驟：

對待識別的兩個句子進行預處理，采用SentencePiece對所述句子進行分詞，利用特殊標志將所述句子合并成一個句子對，以及將分詞后的各個單詞轉成詞匯表中的序號信息，合并各個所述單詞的位置詞向量、單詞詞向量信息及分段信息作為BERT層的輸入；

通過BERT層學習句子及句子之間的上下文信息和關系，輸出詞向量語義序列和全局特征表示；