[發明專利]一種實體精細分類方法

有效

• 申請號: 201711366934.7
• 申請日: 2017-12-18
• 公開（公告）號: CN108052625B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 劉知遠;辛極;林衍凱;孫茂松
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 苗青盛;馬英迪

1.一種實體精細分類方法，其特征在于，包括：

S1，基于目標實體文本中各單詞對應的單詞向量，計算所述目標實體文本的實體表示向量；

S2，基于句子中所述目標實體文本兩側各單詞分別對應的語境單詞向量，利用雙向循環神經網絡，獲取所述目標實體文本的基礎語境向量；

S3，基于所述目標實體文本的知識庫表示向量和所述基礎語境向量，計算所述兩側各單詞分別對應的知識庫相關注意力值；

S4，基于所述兩側各單詞分別對應的知識庫相關注意力值，以及所述目標實體文本的基礎語境向量，計算所述目標實體文本的知識庫相關語境向量；

S5，合并所述目標實體文本的實體表示向量和知識庫相關語境向量，獲取所述句子對應的句子表示向量，并基于所述句子表示向量，利用預先建立的目標分類器模型，獲取所述目標實體文本屬于各給定類別的概率；

所述S1的步驟進一步具體包括：

求取所述各單詞對應的單詞向量的平均值，作為所述目標實體文本的實體表示向量；

S2的步驟進一步具體包括：將所述句子中所述目標實體文本前側各單詞分別對應的前向單詞向量以及后側各單詞分別對應的后側單詞向量分別輸入所述雙向循環神經網絡，獲取所述前側各單詞分別對應的前向基礎語境向量和所述后側各單詞分別對應的后向基礎語境向量；

步驟S3中所述目標實體文本的知識庫表示向量的獲取步驟進一步具體包括：

S301，利用文本信息重構知識庫表示的初始神經網絡，并利用所述給定訓練樣本訓練所述知識庫表示的初始神經網絡，獲取知識庫表示的近似神經網絡；

S302，利用所述知識庫表示的近似神經網絡，獲取所述目標實體文本對應的近似知識庫表示向量，作為所述目標實體文本的知識庫表示向量。

2.根據權利要求1所述的方法，其特征在于，建立步驟S5中所述目標分類器模型的步驟進一步包括：

基于所述句子表示向量，根據非線性層函數和邏輯斯蒂函數(Logistic Function)建立初始分類器模型；

以所述初始分類器模型所有維度的交叉熵作為優化目標，利用給定訓練樣本訓練所述初始分類器模型，通過梯度下降法優化所述優化目標，獲取所述目標分類器模型。

3.根據權利要求1所述的方法，其特征在于，所述利用文本信息重構知識庫表示的初始神經網絡的步驟進一步包括：

搜索真實知識庫中與未定位的所述文本信息近似的多個真實實體，選取所述多個真實實體中真實知識庫表示與所述未定位的文本信息的近似知識庫表示的差值小于設定閾值且取值最小的真實實體作為最接近真實實體，以所述最接近真實實體的真實知識庫表示作為所述未定位的文本信息的初始近似知識庫表示；

其中，所述近似的多個真實實體表示以所述目標實體文本為搜索關鍵詞，在給定知識庫中搜索到的相關實體。

4.根據權利要求3所述的方法，其特征在于，所述S3的步驟進一步具體包括：

基于所述前向基礎語境向量和所述目標實體文本的知識庫表示向量，利用給定非負函數公式，計算所述前側各單詞分別對應的前向知識庫相關注意力值；

基于所述后向基礎語境向量和所述目標實體文本的知識庫表示向量，利用所述給定非負函數公式，計算所述后側各單詞分別對應的后向知識庫相關注意力值。

5.根據權利要求4所述的方法，其特征在于，所述給定非負函數公式進一步具體為二次函數公式。

6.根據權利要求4所述的方法，其特征在于，所述S4的步驟進一步具體包括：

以所述前向知識庫相關注意力值和所述后向知識庫相關注意力值作為相應權值，對所述前向基礎語境向量和所述后向基礎語境向量加權求平均，計算所述目標實體文本的知識庫相關語境向量。

7.根據權利要求1所述的方法，其特征在于，所述雙向循環神經網絡進一步具體為雙向LSTM循環神經網絡。