[發(fā)明專利]一種基于類型注意力的神經零樣本細粒度實體分類方法

在審

• 申請?zhí)枺?/td>: 202010918084.2
• 申請日: 2020-09-03
• 公開（公告）號: CN112036170A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設計）人: 莊越挺;湯斯亮;高明合;勒一凡;任彥昆;譚熾烈;蔣韜
• 申請（專利權）人: 浙江大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

本發(fā)明公開了一種基于類型注意力的神經零樣本細粒度實體分類方法，具體為：基于目標實體文本中各單詞對應的單詞向量，計算目標實體文本表示向量；基于句子中目標實體文本兩側各單詞分別對應的語境單詞向量，獲取目標實體文本的基礎語境向量；基于目標實體文本中各實體對應的類型，構建實體類型向量；基于目標實體類型向量及基礎語境向量，計算兩側單詞分別對應的相關注意力值；基于相關注意力值及基礎語境向量，計算目標實體文本的相關語境向量；合并目標實體文本的實體表示向量和相關語境向量，獲取整個句子的表示向量，利用已創(chuàng)建的實體類型分類器模型，獲取目標實體文本屬于各給定類別的分值，并有效改善實體細粒度分類的效果。

技術領域

本發(fā)明屬于信息處理技術領域，具體涉及一種基于類型注意力的神經零樣本細粒度實體分類方法。

背景技術

實體分類的人物是識別實體文本的語義類型，如人物名，地點名，組織名等。該人物有助于精確定位文本中的實體，對于自然語言處理中的很多其他任務具有重要的意義。

實體識別是信息抽取領域內關鍵性的基礎任務。實體識別的輸出可作為很多下游自然語言處理任務的輸入特征，提高下游任務效果，例如關系抽取、問答、主題模型等。

目前，研究者們發(fā)現更細粒度的實體類型會對下游任務有更大的提高，因此研究者們將實體類型的粒度變細，擴充實體類型的數量，發(fā)展出了細粒度實體分類任務(Fine-Grained Entity Typing)。

粗粒度實體識別和細粒度實體分類任務早期的方法主要依賴于手工特征。由于手工特征費時費力，且應用范圍局限性強，近年來研究者們使用深度學習替代了傳統(tǒng)手工特征的方法。另一方面，在很多情況下，訓練模型需要大量有標注數據，而人工標注數據成本很高，少樣本甚至零樣本的實體分類與識別也成為一個需要研究的課題。此外，由于細粒度實體類型眾多，且一個實體提及會有多種細粒度實體類型，粗粒度實體識別使用的序列標注模型不適用于端到端進行細粒度實體識別，這也是需要解決的問題。

發(fā)明內容

本發(fā)明的目的在于克服現有技術中的缺陷，并提供一種基于類型注意力的神經零樣本細粒度實體分類方法。用以有效提高分類模型的穩(wěn)定性，并有效改善細粒度實體分類的效果。

本發(fā)明所采用的具體技術方案如下：

一種基于類型注意力的神經零樣本細粒度實體分類方法，其包括如下步驟：

S1：基于目標實體文本中各單詞對應的單詞向量，計算所述目標實體文本的實體表示向量；

S2：基于目標實體文本所在句子中目標實體文本兩側各單詞分別對應的語境單詞向量，獲取目標實體文本的基礎語境向量；

S3：基于目標實體文本中各實體對應的類型，構建目標實體類型向量；

S4：基于所述目標實體類型向量及基礎語境向量，計算目標實體文本兩側各單詞分別對應的注意力值，之后對注意力值進行歸一化處理，得到歸一化注意力值；

S5：基于所述歸一化的注意力值及所述基礎語境向量，計算目標實體文本的相關語境向量；

S6：合并所述目標實體文本的實體表示向量和相關語境向量，獲取整個句子的表示向量；基于該句子的表示向量，利用已創(chuàng)建的實體類型分類器模型，獲取目標實體文本屬于各給定類別的分值。

作為優(yōu)選，所述S1具體如下：求取目標實體文本中各單詞所對應單詞向量的平均值，并作為所述目標實體文本的實體表示向量。

作為優(yōu)選，其特征在于，所述S2具體如下：

將目標實體文本所在句子中目標實體文本前側各單詞分別對應的前側單詞向量以及后側各單詞分別對應的后側單詞向量分別輸入到雙向循環(huán)神經網絡中，獲取所述前側各單詞分別對應的前向基礎語境向量和所述后側各單詞分別對應的后向基礎語境向量。