[發明專利]基于注意力金字塔圖網絡的圖像視覺關系指代定位方法

有效

• 申請號: 201911370245.2
• 申請日: 2019-12-26
• 公開（公告）號: CN111241326B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 王瀚漓;朱健
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/0464;G06N3/084
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種基于注意力金字塔圖網絡的圖像視覺關系指代定位方法，該方法通過一注意力金字塔圖網絡模型對將輸入圖片進行處理，獲得相應圖像視覺關系指代實體定位圖，實現指代定位；所述注意力金字塔圖網絡模型包括注意力特征金字塔網絡和關系傳導圖網絡，其中，所述注意力特征金字塔網絡用于從輸入圖像中獲取多尺度注意力特征圖，所述關系傳導圖網絡基于所述多尺度注意力特征圖獲得最終的視覺關系指代實體定位圖。與現有技術相比，本發明具有定位精度高、魯棒性高等優點。

技術領域

本發明涉及一種圖像視覺關系指代定位方法，尤其是涉及一種基于注意力金字塔圖網絡的圖像視覺關系指代定位方法。

背景技術

近年來，表達指代理解得到了計算機視覺和自然語言處理領域越來越多的關注。該任務旨在定位特定的指代實體，這項技術可以幫助消除相同類別實體之間的歧義，從而在安防領域圖像檢索和機器人人機交互等應用場景發揮重要作用。但是，傳統的表達指代理解任務需要對模型的自然語言和計算機視覺模塊分別進行評估，因此很難判斷錯誤是由語言模塊還是由視覺模塊引起的。為了減輕對復雜自然語言建模的需求，研究者提出了視覺關系指代定位任務，它根據更結構化的視覺關系三元組subject,relationship,traget，在圖像中定位指代的實體。

先前的工作探索了使用實體共現統計方法、空間轉移模型、基于語言先驗的卷積神經網絡模型，效果都不是非常理想。目前最先進的技術是一種稱為對稱堆疊注意力轉移的方法。該方法基于視覺關系中的一個實體，通過對視覺關系進行建模來迭代地學習將模型注意力從該實體轉移到另一個實體，并且能取得優于上述方法的結果。盡管如此，由于視覺關系三元組中往往包含大量具有小尺寸和難以區分特征的實體。對稱堆疊注意力轉移方法利用單一小尺度的注意力特征圖可能無法有效定位這些小尺寸實體。另外，對稱堆疊注意力轉移方法基于圖像中的視覺特征對關系進行建模，而視覺關系三元組中某一特定的關系類別的視覺特征類內方差較大，使用視覺特征使模型的學習難度較大，且難以對視覺關系進行區分。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷而提供一種定位精度高的基于注意力金字塔圖網絡的圖像視覺關系指代定位方法。

本發明的目的可以通過以下技術方案來實現：

一種基于注意力金字塔圖網絡的圖像視覺關系指代定位方法，該方法通過一注意力金字塔圖網絡模型對將輸入圖片進行處理，獲得相應圖像視覺關系指代實體定位圖，實現指代定位；

所述注意力金字塔圖網絡模型包括注意力特征金字塔網絡和關系傳導圖網絡，其中，所述注意力特征金字塔網絡用于從輸入圖像中獲取多尺度注意力特征圖，所述關系傳導圖網絡基于所述多尺度注意力特征圖獲得最終的視覺關系指代實體定位圖。

進一步地，所述多尺度注意力特征圖的獲取過程具體為：

以基于ResNet-50網絡的特征金字塔對輸入圖像進行特征提取，基于特征金字塔的輸出形成各實體的多尺度特征圖，使用實體類別嵌入特征對每一張特征圖進行軟注意力機制，得到多尺度注意力特征圖。

進一步地，選取所述特征金字塔的最后三個卷積模塊的輸出形成各實體的所述多尺度特征圖。

進一步地，所述關系傳導圖網絡獲得最終的視覺關系指代實體定位圖的具體步驟包括：

101)基于多尺度注意力特征圖生成注意力特征圖網絡，該網絡中每一個節點代表一張注意力特征圖；

102)構建注意力特征圖網絡的權重矩陣；

103)使用權重矩陣在注意力特征圖網絡中進行關系信息傳遞，對網絡中的各節點進行聚合與提純；

104)對提純后的實體多尺度注意力特征進行拼接，映射成與圖像尺寸一致的特征權重，與圖像特性相乘，生成新圖像特征；