[發明專利]實時場景理解系統

有效

• 申請號: 202010111791.0
• 申請日: 2020-02-24
• 公開（公告）號: CN111723635B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 伊萊厄·阿拉尼;馬哈茂德·賽勒穆
• 申請（專利權）人: 北京四維圖新科技股份有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李艷;臧建明

1.一種實時場景理解系統，包括：

對象檢測模塊，包括用于對圖像中的對象進行定位和分類的算法；

語義分割模塊，包括用于對所述圖像中的各個像素進行分類的算法；

編碼器模塊，在輸入圖像上操作以提取輸入圖像中的顯著特征；

至少一個注意模塊，賦予每個顯著特征一個相對貢獻值，或重加權，以使這些特征包含全局上下文以及空間局部信息；以及

解碼器模塊，用于使用所述顯著特征來重建輸出圖像，其中所重建的輸出圖像和/或關于所述顯著特征的信息對所述對象檢測模塊和所述語義分割模塊可用，

其中，每個所述顯著特征的相對貢獻值或權重由所述至少一個注意模塊提供給所述解碼器模塊、所述對象檢測模塊以及所述語義分割模塊。

2.根據權利要求1所述的實時場景理解系統，其中，所述系統包括多個注意模塊，以促進在由圖像描繪的場景的多視圖中將全局上下文注入到所述空間局部信息中。

3.根據權利要求1所述的實時場景理解系統，其中，所述至少一個注意模塊被布置為應用不同級別的場景信息抽象的重加權，以支持對包含具有不同空間維度的對象的復雜環境的檢測。

4.根據權利要求1所述的實時場景理解系統，其中，所述至少一個注意模塊跨越深度維度給所述輸入圖像中的每個所述顯著特征賦予相對貢獻值。

5.根據權利要求1所述的實時場景理解系統，其中，所述編碼器模塊包括至少一個卷積神經網絡(CNN)，以檢測、分割和提取所述輸入圖像中的對象和像素的顯著特征。

6.根據權利要求1所述的實時場景理解系統，其中，所述對象檢測模塊和語義分割模塊能同時在來自解碼器的同一輸出圖像上和/或由所述至少一個注意模塊提供的所述同一顯著特征上操作。

7.根據權利要求1所述的實時場景理解系統，其中，所述編碼器模塊包括以不同的速度和精度運行的不同的卷積神經網絡以使得在檢測過程中所述編碼器模塊的性能能夠根據實際情況進行調整。

8.根據權利要求1所述的實時場景理解系統，其中，所述編碼器模塊包括特征提取算法，以從所述輸入圖像中提取辨別特征。

9.根據權利要求8所述的實時場景理解系統，其中，所述編碼器模塊的所述特征提取算法以不同尺度和不同空間分辨率在所述輸入圖像中提供特征層次。