[發(fā)明專利]基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法

在審

• 申請?zhí)枺?/td>: 202010618782.0
• 申請日: 2020-06-30
• 公開（公告）號: CN111625652A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設計）人: 張旻;吳鑫強;湯景凡;姜明;劉志勇
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/08;G06N5/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法本發(fā)明包括如下步驟：步驟(1)采集自然語言推理數(shù)據(jù)并做預處理；步驟(2)動態(tài)掩碼選擇器根據(jù)句子的詞向量表示來生成動態(tài)掩碼；步驟(3)使用四種動態(tài)注意力機制提取句子特征；步驟(4)重復步驟(1)至步驟(3)分別生成前提句和假設句的句子表示向量，利用蘊含分類器輸出推理結果。本發(fā)明利用多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡對文本數(shù)據(jù)進行分析，通過非人工干預的手段生成不同的句子向量，并通過積分求出最終的結果，這種方法具有更好的魯棒性和自適應能力。

技術領域

本發(fā)明涉及自然語言推理方法，具體來講是一種基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法，屬于自然語言處理技術領域。

背景技術

自然語言推理主要是判斷兩個句子(Premise,Hypothesis)或者兩個詞之間的語義關系，為了保證模型能夠集中在語義理解上，該任務最終退化為一個分類任務，目前類別主要是三分類(蘊含，矛盾，中立)。它是自然語言處理中的一個核心問題，很多自然語言處理的任務都可以抽象成自然語言推理問題。那么如何生成最好的句子向量，是自然語言推理所需要解決的一個問題。現(xiàn)階段較好的處理方法是建立端對端的處理方法，通過深度學習建立從輸入到輸出，讓模型自動學語句特征，從而給出準確的句子向量，最終得到正確的自然語言推理結果。

發(fā)明內容

本發(fā)明針對自然語言推理中結果不準確的問題，提供了一種基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法。

為解決技術問題，本發(fā)明的解決方案包括以下步驟：

一種基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法，其特征在于包括如下步驟：

步驟(1)采集數(shù)據(jù)并做預處理；

步驟(2)根據(jù)預處理后的句子詞向量表示來生成動態(tài)掩碼；

步驟(3)使用四種動態(tài)注意力機制提取句子特征；

步驟(4)生成句子表示向量，利用蘊含分類器輸出推理結果。

本發(fā)明的優(yōu)點及有益效果如下：

本發(fā)明利用多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡對文本數(shù)據(jù)進行分析，通過非人工干預的手段生成不同的句子向量，并通過積分求出最終的結果，這種方法具有更好的魯棒性和自適應能力。

附圖說明

圖1是本發(fā)明的整體實施方案流程圖；

圖2是本發(fā)明的模型示意圖；

具體實施方式

附圖非限制性的公開了本發(fā)明所涉及優(yōu)選實施例的流程示意圖；以下將結合附圖詳細的說明本發(fā)明的技術方案。

如圖1和2所示，一種基于多路動態(tài)掩碼的注意力神經(jīng)網(wǎng)絡的方法，具體包括如下步驟：

步驟(1)采集數(shù)據(jù)并做預處理：先將文本數(shù)據(jù)轉化為句子的詞向量表示，再對句子的詞向量表示預處理后得到新的隱層向量表示。

步驟(2)動態(tài)掩碼選擇器根據(jù)句子的詞向量表示來生成動態(tài)掩碼；

步驟(3)對步驟(1)得到的隱層向量表示，使用四種動態(tài)注意力機制提取句子特征；

步驟(4)重復步驟(1)至步驟(3)分別生成前提句和假設句的句子表示向量，利用蘊含分類器輸出推理結果。

所述的步驟(1)具體實現(xiàn)如下：

1-1采集自然語言推理數(shù)據(jù)，將文本數(shù)據(jù)轉換成詞向量形式。從自然語言推理數(shù)據(jù)集中，依次連續(xù)選取M條文本數(shù)據(jù)對，使用預訓練好的GloVe向量，將選取的文本數(shù)據(jù)轉換成句子的詞向量表示，對于詞典以外的詞使用fastText計算子詞向量生成新詞詞向量。