[發明專利]針對圖像的視覺關聯性識別方法、裝置、設備及存儲介質

有效

• 申請號: 201810073370.6
• 申請日: 2018-01-25
• 公開（公告）號: CN108229477B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 殷國君;邵婧;閆俊杰;王曉剛
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本申請實施方式公開了一種針對圖像的視覺關聯性識別方法、神經網絡的訓練方法、裝置、電子設備、計算機可讀存儲介質以及計算機程序，其中的針對圖像的視覺關聯性識別方法包括：將輸入圖像特征圖和至少兩種句子成分在所述輸入圖像特征圖中的區域位置信息，提供給神經網絡單元；利用所述神經網絡單元，根據所述區域位置信息，對所述輸入圖像特征圖中的所述至少兩種句子成分分別對應的區域特征，進行空間感知融合處理，以獲得其中至少一種句子成分對應的增強表達特征圖；根據所述增強表達特征圖，對相應的句子成分進行識別處理。

技術領域

本申請涉及計算機視覺技術，尤其是涉及一種針對圖像的視覺關聯性識別方法、針對圖像的視覺關聯性識別裝置、神經網絡的訓練方法、神經網絡的訓練裝置、電子設備、計算機可讀存儲介質以及計算機程序。

背景技術

視覺關聯性識別是一種能夠針對圖像的畫面內容進行識別，形成多個句子成分(例如，主語、謂語、賓語)組合的技術。視覺關聯性識別通常可以適用于計算機視覺中的圖像理解等應用中。

如何針對圖像的畫面內容進行識別，以形成較為恰當的成分組合，是計算機視覺領域中一個值得關注的技術問題。

發明內容

本申請實施方式提供一種針對圖像的視覺關聯性識別以及訓練神經網絡的技術方案。

根據本申請實施方式其中一方面，提供一種針對圖像的視覺關聯性識別方法，所述方法包括：將輸入圖像特征圖和至少兩種句子成分在所述輸入圖像特征圖中的區域位置信息，提供給神經網絡單元；利用所述神經網絡單元，根據所述區域位置信息，對所述輸入圖像特征圖中的所述至少兩種句子成分分別對應的區域特征，進行空間感知融合處理，以獲得其中至少一種句子成分對應的增強表達特征圖；根據所述增強表達特征圖，對相應的句子成分進行識別處理。

在本申請一實施方式中，所述至少兩種句子成分包括：主語、謂語以及賓語中的至少兩個。

在本申請又一實施方式中，所述神經網絡單元設置于卷積神經網絡中，且所述卷積神經網絡中的卷積層的輸出提供給所述神經網絡單元。

在本申請再一實施方式中，所述神經網絡單元包括：至少一個空間上下文外貌模塊；所述空間上下文外貌模塊用于，完成所述根據所述區域位置信息，對所述輸入圖像特征圖中的所述至少兩種句子成分分別對應的區域特征，進行空間感知融合處理，以獲得其中至少一種句子成分的增強表達特征圖的步驟。

在本申請再一實施方式中，在所述神經網絡單元包括多個空間上下文外貌模塊的情況下，卷積神經網絡中的不同卷積層的輸出提供給不同的空間上下文外貌模塊。

在本申請再一實施方式中，所述空間上下文外貌模塊包括：至少一個對比區域池化模塊；所述對比區域池化模塊，用于根據兩種句子成分在輸入圖像特征圖中的感興趣區域ROI位置信息，執行ROI池化處理和反ROI池化處理，并將處理后的兩種句子成分的特征圖相加，以產生空間感知聯合特征圖；所述空間感知聯合特征圖用于形成其中至少一種句子成分的增強表達特征圖。

在本申請再一實施方式中，所述空間上下文外貌模塊包括：第一對比區域池化模塊，用于：根據謂語在輸入圖像特征圖中的ROI位置信息，對謂語ROI執行ROI池化處理，獲得特征圖f_p；根據主語在輸入圖像特征圖中的ROI位置信息，對主語ROI執行ROI池化處理，獲得特征圖f_s；根據主語在特征圖f_s中的ROI位置信息，對所述特征圖f_s執行反ROI池化處理，獲得特征圖將所述特征圖f_p和所述特征圖進行相加處理，以產生帶有空間感知主語特征的謂語特征圖。