[發明專利]一種適于多模態知識圖譜的實體對齊方法及設備

有效

• 申請號: 202011551346.2
• 申請日: 2020-12-24
• 公開（公告）號: CN112287126B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 趙翔;唐九陽;郭浩;曾維新;譚真;徐浩;張鑫
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/28;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

1.一種適于多模態知識圖譜的實體對齊方法，其特征在于，包括以下步驟：

步驟1，獲取兩個多模態知識圖譜和的數據；

步驟2，將各個模態的數據投影到雙曲空間；

步驟3，使用雙曲圖卷積神經網絡學習實體的結構特征和視覺特征；

步驟4，融合多模態特征；

步驟5，以雙曲空間中距離表示實體相似度；

步驟6，根據相似度進行實體識別對齊；

步驟2中所述的各個模態的數據由預先訓練好的神經網絡產生的，存在于歐氏空間中，通過從切平面到流形空間的投影，獲得投影到雙曲空間的特征：，為歐氏空間的特征表示，為雙曲空間的特征表示，其中指數映射的定義為：，是切空間的特征向量，為雙曲空間的曲率，是雙曲空間中的一個點，表示雙曲空間的原點，切空間上的向量通過指數映射到；

步驟3中所述的實體的結構特征的學習是通過雙曲空間中的特征轉換、信息傳遞和非線性激活獲得的；首先使用對數映射log(·)將雙曲空間的節點的特征向量投影到切空間，在切空間中，節點的特征變換和傳遞規則為：，其中表示切平面上的特征表示，表示雙曲平面上的特征表示，表示對稱歸一化鄰接矩陣，是可訓練權重矩陣，d’和d分別表示輸入和輸出的向量表示的維度，對數映射的定義為：，在得到切線空間中的特征表示后，使用非線性激活函數來學習非線性變換；基于雙曲特征變換和非線性激活，雙曲空間的卷積計算被重新定義為：，其中，分別表示在層和層學得的雙曲空間中的節點表示，且，為激活函數；

所述的非線性激活為歐式非線性激活，在層的切線空間中，將其映射到下一層的流形上：，其中，分別是層和層的曲率，激活函數選擇；

步驟4中所述的多模態特征的融合是將結構信息和視覺信息相結合，結合的公式表示為：

其中，分別是雙曲圖卷積網絡模型學得的結構向量表示和視覺向量表示；是平衡兩種特征向量權重的超參數；兩種不同的特征在融合過程中需要保持維度的相同，表示Mobius加法；所述的Mobius加法提供了一種適用于雙曲空間的加法形式，在歐幾里得空間中的定義為：

。

2.根據權利要求1所述的實體對齊方法，其特征在于，步驟3中所述的視覺特征的學習過程包括：采用densenet模型來學習圖像嵌入，移除densenet模型中的softmax層，densenet模型是在ImageNet數據集上預先訓練的，并為多模態知識圖譜中的所有圖像獲取1920維向量嵌入；使用雙曲圖卷積網絡將視覺特征向量投影投射到雙曲空間中。

3.根據權利要求1所述的實體對齊方法，其特征在于，步驟5中所述的雙曲空間中距離表示為：，對于中的實體和中的實體，其中，表示實體和融合結構信息和視覺信息而生成的雙曲空間中的向量表示；是范數；表示操作表示Mobius加法。

4.根據權利要求1所述的實體對齊方法，其特征在于，步驟6中，中特定的一個實體，計算中所有實體與其雙曲空間中的距離，并返回按照距離從小到大排名的候選實體，距離越小的實體越匹配。

5.根據權利要求3所述的實體對齊方法，其特征在于，模型的訓練目標是最小化下列的基于邊緣的評分損失函數：

其中，，表示已知實體對，表示種子實體對的集合；表示負例實體對集合；負例通過破壞正例，即隨機選取知識圖譜中的一個實體取代e或者v，表示邊緣超參數，用來分離正例和負例，基于邊緣的損失函數需要正例實體對之間的距離盡可能小，負例實體對之間的距離盡可能大。

6.一種適于多模態知識圖譜的實體對齊設備，其特征在于，包括：

處理器；

以及，存儲器，用于存儲所述處理器的可執行指令；

其中，所述處理器配置為經由執行權利要求1至5任一所述可執行指令來執行上述的實體對齊方法。