[發明專利]一種結合實體圖像的知識表示學習方法及服務器

有效

• 申請號: 201710429483.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107741943B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 孫茂松;謝若冰;劉知遠;欒煥博
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

本發明公開一種結合實體圖像的知識表示學習方法及服務器。其中，所述方法包括：根據獲取到的實體圖像，獲得每個與實體對應的實體圖像在知識空間上的表示；根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，構建所述實體基于圖像的表示；根據知識圖譜的三元組以及預設的訓練模型，聯合訓練所述實體基于圖像的表示和所述實體基于結構的表示，獲得所述實體的知識表示。本發明提供的結合實體圖像的知識表示學習方法及服務器，能夠將實體圖像信息應用到知識表示學習中，提高了知識表示學習的準確性。

技術領域

本發明涉及人工智能技術領域，具體涉及一種結合實體圖像的知識表示學習方法及服務器。

背景技術

隨著社會飛速發展，我們已經進入信息爆炸的時代，每天都會有海量知識與信息產生。這些多源信息往往具有各種異質的形態，以文字或者圖像等非結構化多模態的方式進行儲存。而人工智能相關應用，如信息檢索、問答系統等更需要結構化信息。隨著用戶對信息篩選的需求日益增加，如何從海量數據中挖掘并運用知識成為一個研究難題。

為了解決這個難題，知識圖譜應運而生。知識圖譜是一個結構化的知識儲存數據庫，它將世界上的具象事物(如人名、地名等專有名詞)與抽象概念表示為實體，將實體之間的聯系表示為關系。實體與實體之間的關系構成一張巨大的有向圖，其中實體可以看作圖中的節點，而關系則可以看作圖中的邊。在知識圖譜中，知識常常以三元組的形式進行儲存。例如，北京是中國的首都這個知識，在知識圖譜中使用三元組(北京，是…首都，中國)進行表示與儲存。知識圖譜通過三元組的形式將知識結構化儲存，被廣泛運用于信息檢索、問答系統和智能對話系統等知識驅動的人工智能任務中。在擁有知識圖譜之后，我們需要在知識驅動的應用中使用知識，而知識表示是不可或缺的工具。知識表示學習基于分布式表示的思想，將實體與關系映射到低維語義向量空間中，很大程度上解決了計算復雜度高和數據稀疏等問題。但是，現有技術中的絕大多數知識表示學習主要知識圖譜三元組自身的結構化信息，而忽略了實體圖像具有的視覺信息。

因此，如何提出一種方法，能夠將實體圖像信息應用到知識表示學習中，以提高知識表示學習的準確性，成為業界亟待解決的重要課題。

發明內容

針對現有技術中的缺陷，本發明提供一種結合實體圖像的知識表示學習方法及服務器。

一方面，本發明提出一種結合實體圖像的知識表示學習方法，包括：

根據獲取到的實體圖像，獲得每個與實體對應的實體圖像在知識空間上的表示；

根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，構建所述實體基于圖像的表示；

根據知識圖譜的三元組以及預設的訓練模型，聯合訓練所述實體基于圖像的表示和所述實體基于結構的表示，獲得所述實體的知識表示；其中，所述知識圖譜三元組為預先獲取的，并且包括所述實體。

另一方面，本發明提供一種服務器，包括：

獲得單元，用于根據獲取到的實體圖像，獲得每個與實體對應的實體圖像在知識空間上的表示；

構建單元，用于根據各個所述與實體對應的實體圖像在知識空間上的表示以及所述實體基于結構的表示，構建所述實體基于圖像的表示；

處理單元，用于根據知識圖譜的三元組以及預設的訓練模型，聯合訓練所述實體基于圖像的表示和所述實體基于結構的表示，獲得所述實體的知識表示；其中，所述知識圖譜的三元組為預先獲取的，并且包括所述實體。

本發明提供的結合實體圖像的知識表示學習方法及服務器，由于能夠根據實體圖像獲得與實體對應的實體圖像在知識空間上的表示，并構建所述實體基于圖像的表示，從而根據至少一組實體基于圖像的表示和實體基于結構的表示以及預設的訓練模型，獲得實體的知識表示，能夠將實體圖像信息應用到知識表示學習中，提高了知識表示學習的準確性。