[發明專利]基于AHE對齊超平面的文本知識嵌入方法

有效

• 申請號: 202011520861.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112541589B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 汪璟玢;張旺
• 申請（專利權）人: 福州大學
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06F16/36
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于AHE對齊超平面的文本知識嵌入方法，其特征在于，包括以下步驟：

步驟S1:對數據集進行預訓練詞向量，獲得文本描述的精確表示；

步驟S2:采用AHE對齊超平面策略，將文本向量與內部向量對齊為統一的隱含層維度，并分別對頭尾實體進行文本超平面投影，獲得交互增強的表示向量,并將其應用至知識庫基礎模型中；

所述步驟S2具體為：

步驟S21:對于一個三元組(s,r,o)，通過步驟S1得到它們文本描述向量s_w(o_w)，以及通過隨機初始化的方法得到內部結構向量s_i(o_i)；

步驟S22:利用AHE對齊過程將s_w(o_w)對齊到與s_i(o_i)統一的空間中，得到s_new(o_new)；

步驟S23:通過s_i(o_i)在s_new(o_new)的超平面投影，建模它們之間的交互，得到s'(o')；

步驟S24:將得到的s'(o')輸入到知識庫基礎模型的得分函數中，得到融合文本描述信息的新得分；

所述超平面投影具體為：

將新的文本向量e_new視為正交特征，并將內部表示向量投影到文本向量的超平面上，對于頭尾實體采用一致的操作；

給定實體內部表示向量e_i，將e_new視為超平面的法向量，則新的實體向量的計算過程如下：

其中，為點在法向量的投影強度，為法向投影向量；一個向量的投影通常被分解為法向和切向方向，切向方向就是投影的結果，即由公式(5)得到新的頭尾實體向量即：

所述知識庫基礎模型包括傳統翻譯模型TransE、語義匹配模型DistMult以及旋轉翻譯模型RotatE；

所述傳統翻譯模型TransE、語義匹配模型DistMult以及旋轉翻譯模型RotatE得分函數分別為

TransE:f_r(s,o)＝||s+r-t||₁ (6)

DistMult:f_r(s,o)＝s^Τdiag(r)o (7)

對于RotatE，對其實部和虛部的表示分別進行了AHE步驟，即e₁'＝AHE(e₁,e_w)和e₂'＝AHE(e₂,e_w)，其中e₁和e₂分別表示RotatE復數嵌入的實部和虛部；

擴展后的各模型，分別命名為AHE-TransE，AHE-DistMult和AHE-RotatE，其得分函數分別定義為：

AHE-TransE:f_r(s,o)＝||AHE(s)+r-AHE(o)||₁ (9)

AHE-DistMult:f_r(s,o)＝AHE(s)^Τdiag(r)AHE(o) (10)

2.根據權利要求1所述的基于AHE對齊超平面的文本知識嵌入方法，其特征在于，所述數據集包括FB-Text數據集和WN9-Text數據集。

3.根據權利要求2所述的基于AHE對齊超平面的文本知識嵌入方法，其特征在于，對于FB-Text數據集，采用word2vec框架中為Freebase實體提供的預訓練詞向量，具體的預訓練詞向量通過在Google News Dataset上使用skip-gram模型訓練得到，并應用l₂范數獲得向量的歸一化表示。