[發明專利]基于注意力機制的膨脹卷積實體名識別方法

在審

• 申請號: 201910631935.2
• 申請日: 2019-07-12
• 公開（公告）號: CN110516231A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 薛哲;杜軍平;呂江海;周南
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于注意力機制的膨脹卷積實體名識別方法。方法包括三個部分：基于膨脹卷積擴散與迭代的特征提取、基于詞長度和詞性的注意力機制加權和基于條件隨機場的規則約束。理論系統完備，創新性突出，主要用于實體名識別中。該發明提高了實體名識別的準確率和訓練速度，具有很高的實用價值。

技術領域

本發明屬于自然語言處理領域，具體涉及集成多種技術，如卷積神經網絡、膨脹卷積擴散與迭代、注意力機制加權、條件隨機場規制約束等，實現基于注意力機制的膨脹卷積實體名識別方法。

背景技術

近年來深度學習在文本、圖像、視頻、音頻處理上都取得了巨大的成功。知識圖譜作為現階段的研究熱點，通過深度學習技術，利用大量短文本數據，提取其中有效的特征，從而提取出實體名，同時抽取實體關系。為了使提取的文本特征更加精確，注意力機制應運而生。注意力，是由人類觀察環境的習慣規律總結而來的，人類在觀察環境時，大腦往往只關注某幾個特別重要的局部，獲取需要的信息，構建出關于環境的某種描述，而注意力機制正是如此，去學習不同局部的重要性。

本發明提出一種基于注意力機制的膨脹卷積實體名識別方法。該方法利用膨脹卷積進行文本特征的提取。膨脹卷積能使向量矩陣感受域以指數增加的速度進行擴展，而神經網絡的參數卻以線性速度增加，因此模型訓練時可以利用GPU的矩陣并行計算，從而加快loss收斂速度并可以準確提取文本的特征。利用單詞的詞性來對提取出來的特征進行注意力加權，使模型更加優化。神經網絡得到每一個字對于實體標簽的概率，最后輸入條件隨機場模型利用某一些約束使得錯誤率更低，得到更加精確的實體名識別準確率。

發明內容

本發明所提出的基于注意力機制的膨脹卷積實體名識別方法，使用卷積神經網絡對文本向量進行卷積，獲取高層次的文本特征；采用膨脹卷積文本矩陣進行擴散和迭代，充分利用GPU并行計算能力，加快訓練速度；使用單詞長度和詞性對特征矩陣進行注意力加權，得到帶權重的特征向量矩陣，使向量矩陣特征更加明顯；使用條件隨機場對加權后的向量矩陣進行規制約束，使得最后的預測概率滿足某種語法規制。最終得到文本中各個字符的實體名種類概率。

為達到上述目的，如圖1所示，本發明的技術方案劃分為三個部分：

1.基于膨脹卷積擴散與迭代的特征提取；

2.基于詞長度和詞性的注意力機制加權；

3.基于條件隨機場的規則約束；

本發明有以下一些技術特征：

(1)提出基于膨脹卷積的擴散與迭代，膨脹卷積可以讓卷積的視野域以指數方式增加，但使用的參數卻是以線性方式增加，卷積神經網絡充分利用了GPU并行計算的能力，同時充分保證文本的上下文關聯信息，又能使模型的參數不會過多導致過擬合。加快訓練速度的同時，保證了文本特征的提取精確性。

(2)提出的基于注意力機制的加權，包括兩個額外信息進行注意力加權：單詞長度和單詞詞性。該機制使得文本中的實體名賦予更高的權重，而文本中的噪音信息賦予較低的權重，得到的加權特征向量矩陣包含更加明顯精確的特征信息。

(3)使用條件隨機場，向最后預測的標簽添加語法約束，以確保預測的標簽是符合語法的。在訓練數據訓練過程中，條件隨機場層可以同時訓練學習到文本中的約束。條件隨機場層通過隨機初始化生成該傳輸矩陣的初始值，通過網絡訓練得到傳輸矩陣的最終結果值。

本發明提出了一種空間運動圖像插值模型，理論系統完備，創新性突出，主要用于實體名識別中。

附圖說明

圖1為模型基本結構內容圖

圖2為基于注意力機制的膨脹卷積實體名識別模型；

圖3為膨脹卷積擴散與迭代過程圖；

圖4為基于注意力機制的加權過程圖；