[發(fā)明專利]場(chǎng)景信息的檢測(cè)方法和裝置、電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010739363.2
• 申請(qǐng)日: 2020-07-28
• 公開（公告）號(hào): CN111860403A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 張明遠(yuǎn);吳金易;金代圣;趙海宇;伊帥
• 申請(qǐng)（專利權(quán)）人: 商湯國(guó)際私人有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本公開實(shí)施例提供一種場(chǎng)景信息的檢測(cè)方法和裝置、電子設(shè)備，其中，該方法可以包括：根據(jù)場(chǎng)景異構(gòu)圖中與目標(biāo)節(jié)點(diǎn)連接的各輔助節(jié)點(diǎn)的節(jié)點(diǎn)特征，得到待傳播的特征維度是Cy*1的匯聚特征，其中，Cy是匯聚特征的通道維度，且Cy與目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征的通道維度相同；其中，場(chǎng)景異構(gòu)圖包括至少兩種異質(zhì)節(jié)點(diǎn)：輔助節(jié)點(diǎn)以及基于場(chǎng)景圖像得到的目標(biāo)節(jié)點(diǎn)；基于匯聚特征更新目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征；根據(jù)更新后的目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征，獲得場(chǎng)景圖像的場(chǎng)景信息。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)視覺技術(shù)，具體涉及一種場(chǎng)景信息的檢測(cè)方法和裝置、電子設(shè)備。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，場(chǎng)景理解算法可以獲取場(chǎng)景圖像中包含的場(chǎng)景信息，例如，該場(chǎng)景信息可以是場(chǎng)景圖像中包含哪些物體，或者場(chǎng)景圖像中的各個(gè)物體之間具有怎樣的關(guān)系，即理解這個(gè)場(chǎng)景圖像中正在發(fā)生什么事件。而由于場(chǎng)景圖像中包含的信息復(fù)雜多樣，出于計(jì)算量大等多種因素的考慮，現(xiàn)有的場(chǎng)景理解算法往往只能利用場(chǎng)景圖像中的一種類型的信息來輔助場(chǎng)景的理解，使得最終獲得的場(chǎng)景信息的檢測(cè)精度有待提高。

發(fā)明內(nèi)容

有鑒于此，本公開實(shí)施例至少提供一種場(chǎng)景信息的檢測(cè)方法和裝置、電子設(shè)備。

第一方面，提供一種場(chǎng)景信息的檢測(cè)方法，所述方法包括：

根據(jù)場(chǎng)景異構(gòu)圖中與目標(biāo)節(jié)點(diǎn)連接的各輔助節(jié)點(diǎn)的節(jié)點(diǎn)特征，得到待傳播的匯聚特征，所述匯聚特征的特征維度是Cy*1，其中，所述Cy是所述匯聚特征的通道維度，且所述Cy與目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征的通道維度相同；其中，所述場(chǎng)景異構(gòu)圖包括至少兩種異質(zhì)節(jié)點(diǎn)，所述至少兩種異質(zhì)節(jié)點(diǎn)包括：所述輔助節(jié)點(diǎn)以及基于所述場(chǎng)景圖像得到的所述目標(biāo)節(jié)點(diǎn)；

基于所述匯聚特征，更新所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征；

根據(jù)更新后的所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征，獲得所述場(chǎng)景圖像中的場(chǎng)景信息。

在一些實(shí)施例中，所述基于所述匯聚特征，更新所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征，包括：根據(jù)所述匯聚特征的每個(gè)通道的通道特征，對(duì)所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征中對(duì)應(yīng)所述每個(gè)通道的所有特征位置利用所述通道特征進(jìn)行特征更新處理。

在一些實(shí)施例中，所述根據(jù)場(chǎng)景異構(gòu)圖中與目標(biāo)節(jié)點(diǎn)連接的各輔助節(jié)點(diǎn)的節(jié)點(diǎn)特征，得到待傳播的匯聚特征，包括：根據(jù)場(chǎng)景異構(gòu)圖中與目標(biāo)節(jié)點(diǎn)連接的各輔助節(jié)點(diǎn)的節(jié)點(diǎn)特征，得到重加權(quán)向量和殘差向量中的至少一種作為所述匯聚特征；所述基于所述匯聚特征，更新所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征，包括：基于所述重加權(quán)向量對(duì)目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征的各通道進(jìn)行相乘處理，和/或，通過所述殘差向量對(duì)目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征的各通道進(jìn)行相加處理。

在一些實(shí)施例中，所述得到重加權(quán)向量和殘差向量中的至少一種作為所述匯聚特征，包括：通過激活函數(shù)、以及所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征的標(biāo)準(zhǔn)差，將所述殘差向量的取值映射到預(yù)定的數(shù)值區(qū)間作為所述匯聚特征。

在一些實(shí)施例中，所述目標(biāo)節(jié)點(diǎn)包括：對(duì)象組節(jié)點(diǎn)，所述對(duì)象組包括所述場(chǎng)景圖像中的兩個(gè)對(duì)象；所述根據(jù)更新后的所述目標(biāo)節(jié)點(diǎn)的節(jié)點(diǎn)特征，獲得所述場(chǎng)景圖像中的場(chǎng)景信息，包括：根據(jù)更新后的對(duì)象組節(jié)點(diǎn)的節(jié)點(diǎn)特征，得到所述對(duì)象組節(jié)點(diǎn)中兩個(gè)對(duì)象之間關(guān)系的預(yù)測(cè)結(jié)果。