[發明專利]圖卷積網絡系統和基于圖卷積網絡系統的3D物體檢測方法

有效

• 申請號: 202110369721.X
• 申請日: 2021-04-07
• 公開（公告）號: CN112801059B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 楊光遠;黃瑾;張凱;丁冬睿
• 申請（專利權）人: 廣東眾聚人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種圖卷積網絡系統和基于圖卷積網絡系統的3D物體檢測方法。所述系統包括：形狀語義提取模塊，用于建模圖像的點云特征中點的幾何位置；多層感知器，與形狀語義提取模塊連接，用于利用多層圖卷積神經網絡提取多級語義特征，并使用注意力機制來過濾多級語義特征；提案生成器，與多層感知器連接，用于匯總多級語義特征，加權生成初級提案；提案推理模塊，與提案生成器連接，用于利用全局語義特征和初級提案預測圖像中物體的3D邊界框和語義類別。本發明有效增益整個圖卷積網絡系統的檢測性能，提高了3D物體檢測的精度，使得深度網絡的可解釋性更強。

技術領域

本發明實施例涉及計算機視覺領域，尤其涉及一種圖卷積網絡系統和基于圖卷積網絡系統的3D物體檢測方法。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

隨著科學技術的發展，人們迫切需要利用計算機資源來感知世界、認識世界，由此為人們的生活提供更多的便利。由于眼睛、鼻子和耳朵等身體器官的存在,人類感知世界的方式有視覺、嗅覺、聽覺等，其中，視覺信息占人類外界獲取的信息中的百分之八十以上。就像眼睛之于人體一樣，機器視覺這一學科在機器智能領域發揮著舉足輕重的作用。目標檢測作為機器視覺學科的傳統課題之一，尤其是復雜場景下的目標檢測，一直是研究人員的重點研究方向。

目標檢測是計算機視覺領域的傳統任務。與圖像識別不同，目標檢測不僅需要識別出圖像上存在的物體，給出對應的類別，還需要將該物體通過邊界框（Bounding box）進行定位。2D目標檢測一般是在RGB圖像中對可變數量的目標進行查找和分類，并在圖像上使用2D 邊界框標明。目前大多數研究都集中于2D對象預測，通過將預測擴展到3D，人們可以捕獲物體在世界上的大小、位置和方向，從而在機器人技術，自動駕駛汽車，機器人視覺，圖像檢索和增強現實多種應用場景下發揮作用。

3D目標檢測是使用RGB圖像、RGB-D深度圖像和激光點云等信息，輸出物體語義類別及在三維空間中的長寬高、旋轉角等信息的檢測技術。盡管2D對象檢測相對成熟并且已在行業中廣泛使用，但是由于缺乏數據以及語義類別中對象的外觀和形狀的多樣性，從2D圖像進行3D對象檢測仍然是一個具有挑戰性的問題。

發明內容

為解決現有技術中存在的上述問題，本發明提供一種圖卷積網絡系統和基于圖卷積網絡系統的3D物體檢測方法，通過多尺度注意力機制的圖卷積對3D點云進行處理，提高對圖像在三維空間進行的目標檢測的精度。

第一方面，本發明實施例提供了一種圖卷積網絡系統一種圖卷積網絡系統，包括：

形狀語義提取模塊，用于接收圖像的點云特征，建模所述點云特征中點的幾何位置，獲得全局語義特征；

多層感知器，與所述形狀語義提取模塊連接，用于基于所述全局語義特征，利用多層圖卷積神經網絡提取多級語義特征，并使用注意力機制來過濾所述多級語義特征；

提案生成器，與所述多層感知器連接，用于匯總過濾后的多級語義特征，加權生成至少一個初級提案；

提案推理模塊，與所述提案生成器連接，用于利用全局語義特征和所述至少一個初級提案預測所述圖像中物體的3D邊界框和語義類別。

在一實施例中，所述形狀語義提取模塊包括：

快速搜索聚類（Clustering By Fast Search And Find Of Density Peaksd，CFDP）模塊，用于接收所述點云特征，并使用CFDP算法對所述點云特征中的特征點進行聚類，獲得多個聚類中心；

k近鄰模塊，與所述CFDP模塊連接，用于根據所述多個聚類中心，利用k近鄰關系構建關于點的幾何位置的多個局部區域；

注意力聚合模塊，用于將所述聚類中心以及所述聚類中心對應的局部區域中的其他點，自適應地聚合點特征，得到所述全局語義特征。