[發明專利]一種基于類型注意力的神經零樣本細粒度實體分類方法

在審

• 申請號: 202010918084.2
• 申請日: 2020-09-03
• 公開（公告）號: CN112036170A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 莊越挺;湯斯亮;高明合;勒一凡;任彥昆;譚熾烈;蔣韜
• 申請（專利權）人: 浙江大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于類型注意力的神經零樣本細粒度實體分類方法，其特征在于，包括如下步驟：

S1：基于目標實體文本中各單詞對應的單詞向量，計算所述目標實體文本的實體表示向量；

S2：基于目標實體文本所在句子中目標實體文本兩側各單詞分別對應的語境單詞向量，獲取目標實體文本的基礎語境向量；

S3：基于目標實體文本中各實體對應的類型，構建目標實體類型向量；

S4：基于所述目標實體類型向量及基礎語境向量，計算目標實體文本兩側各單詞分別對應的注意力值，之后對注意力值進行歸一化處理，得到歸一化注意力值；

S5：基于所述歸一化的注意力值及所述基礎語境向量，計算目標實體文本的相關語境向量；

S6：合并所述目標實體文本的實體表示向量和相關語境向量，獲取整個句子的表示向量；基于該句子的表示向量，利用已創建的實體類型分類器模型，獲取目標實體文本屬于各給定類別的分值。

2.根據權利要求1所述的神經零樣本細粒度實體分類方法，其特征在于，所述S1具體如下：求取目標實體文本中各單詞所對應單詞向量的平均值，并作為所述目標實體文本的實體表示向量。

3.根據權利要求1所述的神經零樣本細粒度實體分類方法，其特征在于，所述S2具體如下：

將目標實體文本所在句子中目標實體文本前側各單詞分別對應的前側單詞向量以及后側各單詞分別對應的后側單詞向量分別輸入到雙向循環神經網絡中，獲取所述前側各單詞分別對應的前向基礎語境向量和所述后側各單詞分別對應的后向基礎語境向量。

4.根據權利要求3所述的神經零樣本細粒度實體分類方法，其特征在于，所述雙向循環神經網絡為雙向LSTM循環神經網絡。

5.根據權利要求1所述的神經零樣本細粒度實體分類方法，其特征在于，所述S3具體步驟如下：

對于目標實體文本中的每個實體類型，選擇實體提及作為該實體類型的原型；使用原型集合中原型的預訓練詞嵌入向量之和的平均值作為初始實體類型的嵌入式表示；再使用所述初始實體類型的嵌入式表示組成矩陣，結合實體類型的層級信息，獲取實體類型的嵌入式表示作為目標實體類型向量。

6.根據權利要求3所述的神經零樣本細粒度實體分類方法，其特征在于，所述S4具體步驟如下：

基于所述前向基礎語境向量和所述目標實體類型向量，計算所述前側各單詞分別對應的前向知識庫相關注意力值，具體如下：

式中，表示目標實體文本所在句子中目標實體文本前側相鄰的第i個單詞對應的前向基礎語境向量；表示目標實體文本所在句子中目標實體文本前側相鄰第i個單詞對應的類型t_k的注意力值；為雙線性矩陣，與實體類型t_k越相關的單詞，其權重就會越高；

之后對注意力值進行歸一化處理：

式中，exp(x)表示對x進行冪指數操作，表示目標實體文本所在句子中目標實體文本前側相鄰第i個單詞對應的類型t_k歸一化后的注意力值，C表示前向基礎語境向量的數量的某一固定值；

基于所述后向基礎語境向量和所述目標實體類型向量，利用給定的非負函數公式，計算所述后側各單詞分別對應的后向知識庫相關注意力值，具體方法與所述前向知識庫相關注意力值相同。

7.根據權利要求6所述的神經零樣本細粒度實體分類方法，其特征在于，所述S5具體步驟如下：

以所述前向知識庫相關注意力值和所述后向基礎語境向量作為相應權值，對所述前向基礎語境向量和所述后向基礎語境向量加權求平均，計算目標實體文本的相關語境向量。