[發明專利]場景信息的檢測方法和裝置、電子設備

在審

• 申請號: 202010739363.2
• 申請日: 2020-07-28
• 公開（公告）號: CN111860403A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 張明遠;吳金易;金代圣;趙海宇;伊帥
• 申請（專利權）人: 商湯國際私人有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種場景信息的檢測方法，其特征在于，所述方法包括：

根據場景異構圖中與目標節點連接的各輔助節點的節點特征，得到待傳播的匯聚特征，所述匯聚特征的特征維度是Cy*1，其中，所述Cy是所述匯聚特征的通道維度，且所述Cy與目標節點的節點特征的通道維度相同；其中，所述場景異構圖包括至少兩種異質節點，所述至少兩種異質節點包括：所述輔助節點以及基于所述場景圖像得到的所述目標節點；

基于所述匯聚特征，更新所述目標節點的節點特征；

根據更新后的所述目標節點的節點特征，獲得所述場景圖像中的場景信息。

2.根據權利要求1所述的方法，其特征在于，所述基于所述匯聚特征，更新所述目標節點的節點特征，包括：

根據所述匯聚特征的每個通道的通道特征，對所述目標節點的節點特征中對應所述每個通道的所有特征位置利用所述通道特征進行特征更新處理。

3.根據權利要求1所述的方法，其特征在于，所述根據場景異構圖中與目標節點連接的各輔助節點的節點特征，得到待傳播的匯聚特征，包括：

根據場景異構圖中與目標節點連接的各輔助節點的節點特征，得到重加權向量和殘差向量中的至少一種作為所述匯聚特征；

所述基于所述匯聚特征，更新所述目標節點的節點特征，包括：基于所述重加權向量對目標節點的節點特征的各通道進行相乘處理，和/或，通過所述殘差向量對目標節點的節點特征的各通道進行相加處理。

4.根據權利要求3所述的方法，其特征在于，所述得到重加權向量和殘差向量中的至少一種作為所述匯聚特征，包括：

通過激活函數、以及所述目標節點的節點特征的標準差，將所述殘差向量的取值映射到預定的數值區間作為所述匯聚特征。

5.根據權利要求1～4任一所述的方法，其特征在于，所述目標節點包括：對象組節點，所述對象組包括所述場景圖像中的兩個對象；

所述根據更新后的所述目標節點的節點特征，獲得所述場景圖像中的場景信息，包括：根據更新后的對象組節點的節點特征，得到所述對象組節點中兩個對象之間關系的預測結果。

6.根據權利要求5所述的方法，其特征在于，所述場景異構圖中包括：以其中一個對象組節點作為終點的信息傳輸鏈，所述信息傳輸鏈包括至少兩個有向邊組，每個有向邊組包括由多個起點指向同一終點的多個有向邊；所述信息傳輸鏈中的各個起點和終點中包括至少兩種所述異質節點；

所述根據與目標節點連接的各輔助節點的節點特征，得到待傳播的匯聚特征，基于所述匯聚特征，更新所述目標節點的節點特征，包括：

對于所述至少兩個有向邊組中的第一有向邊組，以所述第一有向邊組指向的同一個第一終點作為所述目標節點，根據連接所述第一終點的各個起點的節點特征得到匯聚特征，基于所述匯聚特征更新所述第一終點的節點特征；所述第一終點同時作為所述至少兩個有向邊組中的第二有向邊組的其中一個起點；

對于所述第二有向邊組，以所述第二有向邊組指向的同一個第二終點作為所述目標節點，根據連接所述第二終點的各個起點的節點特征得到匯聚特征，基于所述匯聚特征更新所述第二終點的節點特征。

7.根據權利要求6所述的方法，其特征在于，所述至少兩個有向邊組的一個所述有向邊組的起點和終點，包括如下其中一項：

所述起點包括：由所述場景圖像提取特征得到的各個像素節點，所述終點是由所述場景圖像提取到的物體節點；

或者，所述起點和終點均包括：由所述場景圖像提取到的物體節點；

或者，所述起點包括由所述場景圖像提取到的物體節點，所述終點包括所述對象組節點；

或者，所述起點包括所述對象組節點，所述終點包括所述物體節點。

8.根據權利要求1所述的方法，其特征在于，所述各輔助節點包括：多個像素節點；所述方法還包括：

根據所述場景圖像進行特征提取，得到多個特征圖，所述多個特征圖分別具有不同尺寸；

將所述多個特征圖縮放到同一尺寸后進行融合，得到融合特征圖；

根據所述融合特征圖，得到多個所述像素節點的節點特征。