[發明專利]一種結合實體圖像的知識表示學習方法及服務器

有效

• 申請號: 201710429483.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107741943B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 孫茂松;謝若冰;劉知遠;欒煥博
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種結合實體圖像的知識表示學習方法，其特征在于，包括：

根據獲取到的實體圖像，獲得每個與實體對應的實體圖像在知識空間上的表示；

根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，構建所述實體基于圖像的表示；

根據知識圖譜的三元組以及預設的訓練模型，聯合訓練所述實體基于圖像的表示和所述實體基于結構的表示，獲得所述實體的知識表示；其中，所述知識圖譜的三元組為預先獲取的，并且包括所述實體；

所述預設的訓練模型包括能量函數和基于邊際的評價函數：

所述能量函數表示如下：

E(h，r，t)＝α₁||h_s+r-t_s||+α₂||h_I+r-t_s||+α₃||h_s+r-t_I||+α₄||h_I+r-t_I||

其中，α₁，α₂，α₃，α₄為超參數，h為所述三元組中的頭實體，r為所述三元組中的關系，t為所述三元組中的尾實體，h_s為所述三元組中的頭實體基于結構的表示，t_s為所述三元組中的尾實體基于結構的表示，h_I為所述三元組中的頭實體基于圖像的表示，t_I為所述三元組中的尾實體基于圖像的表示；

所述基于邊際的評價函數表示如下：

其中，γ為超參數，h′為負例三元組中的頭實體，r′為所述負例三元組中的關系，t′為所述負例三元組中的尾實體，T為所述三元組的集合，T′為所述負例三元組的集合，所述負例三元組通過將所述三元組中的頭實體、關系或者尾實體隨機替換一個得到，所述負例三元組的集合中不包括任何一個所述三元組。

2.根據權利要求1所述的方法，其特征在于，所述根據獲取到的實體圖像，獲得每個與實體對應的實體圖像在知識空間上的表示包括：

構建所述實體的數據集并對所述實體的數據集進行預處理，所述數據集包括所述實體圖像；

根據預處理后的所述實體圖像以及預設規則，獲得每個所述與實體對應的實體圖像的特征向量；

根據每個所述與實體對應的實體圖像的特征向量，獲得每個所述與實體對應的實體圖像在知識空間上的表示。

3.根據權利要求2所述的方法，其特征在于，所述預設規則包括：

基于深度神經網絡模型對所述預處理后的所述實體圖像進行分類，獲得每個所述與實體對應的實體圖像；

將每個所述與實體對應的實體圖像通過所述深度神經網絡模型獲得的隱藏向量，作為每個所述與實體對應的實體圖像的特征向量。

4.根據權利要求1所述的方法，其特征在于，所述根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，構建所述實體基于圖像的表示包括：

根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，獲得每個所述與實體對應的實體圖像的注意力值；

根據各個所述與實體對應的實體圖像在知識空間上的表示以及每個所述與實體對應的實體圖像的注意力值，構建所述實體基于圖像的表示。