[發(fā)明專利]針對圖像的視覺關(guān)聯(lián)性識別方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810073370.6
• 申請日: 2018-01-25
• 公開（公告）號: CN108229477B
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 殷國君;邵婧;閆俊杰;王曉剛
• 申請（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種針對圖像的視覺關(guān)聯(lián)性識別方法，其特征在于，包括：

將輸入圖像特征圖和至少兩種句子成分在所述輸入圖像特征圖中的區(qū)域位置信息，提供給神經(jīng)網(wǎng)絡(luò)單元；

利用所述神經(jīng)網(wǎng)絡(luò)單元，根據(jù)所述區(qū)域位置信息，對所述輸入圖像特征圖中的所述至少兩種句子成分分別對應(yīng)的區(qū)域特征，進行空間感知融合處理，以獲得其中至少一種句子成分對應(yīng)的增強表達特征圖；

根據(jù)所述增強表達特征圖，對相應(yīng)的句子成分進行識別處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少兩種句子成分包括：主語、謂語以及賓語中的至少兩個。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)單元設(shè)置于卷積神經(jīng)網(wǎng)絡(luò)中，且所述卷積神經(jīng)網(wǎng)絡(luò)中的卷積層的輸出提供給所述神經(jīng)網(wǎng)絡(luò)單元。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)單元包括：至少一個空間上下文外貌模塊；

所述空間上下文外貌模塊用于，完成所述根據(jù)所述區(qū)域位置信息，對所述輸入圖像特征圖中的所述至少兩種句子成分分別對應(yīng)的區(qū)域特征，進行空間感知融合處理，以獲得其中至少一種句子成分的增強表達特征圖的步驟。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

在所述神經(jīng)網(wǎng)絡(luò)單元包括多個空間上下文外貌模塊的情況下，卷積神經(jīng)網(wǎng)絡(luò)中的不同卷積層的輸出提供給不同的空間上下文外貌模塊。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述空間上下文外貌模塊包括：至少一個對比區(qū)域池化模塊；

所述對比區(qū)域池化模塊，用于根據(jù)兩種句子成分在輸入圖像特征圖中的感興趣區(qū)域ROI位置信息，執(zhí)行ROI池化處理和反ROI池化處理，并將處理后的兩種句子成分的特征圖相加，以產(chǎn)生空間感知聯(lián)合特征圖；

所述空間感知聯(lián)合特征圖用于形成其中至少一種句子成分的增強表達特征圖。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述空間上下文外貌模塊中的至少一個對比區(qū)域池化模塊包括：第一對比區(qū)域池化模塊，用于：

根據(jù)謂語在輸入圖像特征圖中的ROI位置信息，對謂語ROI執(zhí)行ROI池化處理，獲得特征圖f_p；

根據(jù)主語在輸入圖像特征圖中的ROI位置信息，對主語ROI執(zhí)行ROI池化處理，獲得特征圖f_s；

根據(jù)主語在特征圖f_s中的ROI位置信息，對所述特征圖f_s執(zhí)行反ROI池化處理，獲得特征圖

將所述特征圖f_p和所述特征圖進行相加處理，以產(chǎn)生帶有空間感知主語特征的謂語特征圖。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述空間上下文外貌模塊中的至少一個對比區(qū)域池化模塊包括：第二對比區(qū)域池化模塊，用于：

根據(jù)主語在輸入圖像特征圖中的ROI位置信息，對主語ROI執(zhí)行ROI池化處理，獲得特征圖f_s；

根據(jù)賓語在輸入圖像特征圖中的ROI位置信息，對賓語ROI執(zhí)行ROI池化處理，獲得特征圖f_o；

根據(jù)主語在特征圖f_s中的ROI位置信息，對所述特征圖f_s執(zhí)行反ROI池化處理，獲得特征圖

根據(jù)賓語在特征圖f_o中的ROI位置信息，對所述特征圖f_o執(zhí)行反ROI池化處理，獲得特征圖

將所述特征圖和所述特征圖進行相加處理，以產(chǎn)生帶有空間感知的主語賓語聯(lián)合特征圖。