[發明專利]一種基于Horn邏輯與圖神經網絡的場景圖譜向量化方法

在審

• 申請號: 201910027540.1
• 申請日: 2019-01-11
• 公開（公告）號: CN109753570A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 萬海;羅宇舟;曾娟
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

本發明公開一種基于Horn規則與圖神經網絡的場景譜向量化方法，本發明屬于場景圖譜表示學習領域，包括步驟：利用場景圖譜的視覺三元組，從給定場景圖譜中抽取Horn規則；利用Horn規則以及視覺三元組，經過推理以及篩選產生新的視覺三元組并添加到場景圖譜中；采用實體向量與關系向量之間的圖神經網絡模型，對視覺三元組中實體向量與關系向量進行建模；采用實體向量與關系向量之間的翻譯模型，建立得分函數作為圖神經網絡模型的輸出模塊；運用視覺三元組的預測和分類，以驗證圖神經網絡模型的有效性。本發明首次提出利用Horn規則推理出更多視覺三元組，利用圖神經網絡建模，有效地解決了現有技術未能充分利用場景圖譜的規則信息以及圖結構信息的問題。

技術領域

本發明涉及場景圖譜表示學習技術領域，具體涉及一種基于Horn邏輯與圖神經網絡的場景圖譜向量化方法。

背景技術

圖像場景圖譜是對一幅圖像所描繪場景的抽象的、結構化的表示。具體來說，圖像場景圖譜以圖像場景圖譜關系三元組(頭部實體、關系、尾部實體)和圖像場景圖譜屬性三元組(實體、屬性類型、屬性)的方式記錄了圖像中的兩個實體、實體的屬性以及兩個實體之間的關系，并且每個實體在圖像中都有一個對應的包圍盒。圖像場景圖譜最先由Johnson等人提出，近來在計算機視覺和人工智能領域受到了關注，并有相關的研究成果，例如：利用圖像場景圖譜檢索圖像；從事先外部語料庫學習的詞向量中檢索實體的詞向量來輔助視覺問答；利用物體檢測器和關系檢測器生成圖像場景圖譜。

近年來，表示學習在知識圖譜上的應用獲得廣泛的關注，并取得了巨大成功。表示學習旨在使用分布式表示方法，將實體與關系映射到一個低維的、連續的、實值的向量空間中，解決了知識圖譜中的稀疏性問題，同時對于計算效率也有很大的提升。其中以基于翻譯的模型表現最為突出。

在現有的場景圖譜表示學習技術中，Zhu等人(2017)在視覺問答模型中融入了場景圖譜中的實體類型的詞向量來計算記憶向量，為模型加入了外部信息來輔助模型訓練。Elhoseiny等人(2017)提出了一個圖片與事實雙向檢索模型，而其中的事實就是從場景圖譜中提取出來的。

但是目前場景圖譜表示學習方法存在不足，具體地：

(1)上述工作的詞向量都是利用外部語料庫事先學到的，并不是結合場景圖譜本身結構學習而來，因此它們都忽略了場景圖譜的結構信息。

(2)一個場景圖譜越完備則能提供的信息越多，場景圖譜本身隱含著一些規則，這些隱含的規則信息能幫助補全場景圖譜，可以使得場景圖譜更加完備。

(3)現有的場景圖譜表示學習技術中，沒有充分考慮和利用場景圖譜中隱含的規則信息以及場景圖譜中結構信息，因此限制了所學習的視覺三元組向量的表達能力。

發明內容

為了解決現有場景圖譜表示學習中存在的未能充分利用規則信息以及場景圖譜中的視覺三元組結構信息的問題，本發明公開一種基于Horn邏輯與圖神經網絡的場景圖譜向量化方法，充分利用了場景圖譜隱含的規則信息，融合了實體周圍的鄰居實體的信息，能夠在三元組分類和三元組鏈接預測等任務中得到更高的準確率，提高場景圖譜的表示性能。

本發明通過以下技術方案實現：一種基于Horn邏輯與圖神經網絡的場景圖譜向量化方法，包括如下步驟：

步驟1、以場景圖譜中的視覺三元組作為輸入，從給定的場景圖譜中抽取Horn規則；

步驟2、以抽取的Horn規則以及場景圖譜中的視覺三元組作為輸入，優選地，經過推理以及篩選產生新的視覺三元組并添加到場景圖譜中；

步驟3、采用實體向量與關系向量之間的圖神經網絡模型，優選地，對場景圖譜的視覺三元組中實體向量與關系向量進行建模；采用實體向量與關系向量之間的翻譯模型，建立得分函數作為圖神經網絡模型的輸出模塊；