[發明專利]圖卷積網絡系統和基于圖卷積網絡系統的3D物體檢測方法

有效

• 申請號: 202110369721.X
• 申請日: 2021-04-07
• 公開（公告）號: CN112801059B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 楊光遠;黃瑾;張凱;丁冬睿
• 申請（專利權）人: 廣東眾聚人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種圖卷積網絡系統，其特征在于，所述圖卷積網絡系統用于3D物體檢測，包括：

形狀語義提取模塊，用于接收圖像的點云特征，建模所述點云特征中點的幾何位置，獲得全局語義特征；

多層感知器，與所述形狀語義提取模塊連接，用于基于所述全局語義特征，利用多層圖卷積神經網絡提取多級語義特征，并使用注意力機制來過濾所述多級語義特征；

提案生成器，與所述多層感知器連接，用于匯總過濾后的多級語義特征，加權生成至少一個初級提案；

提案推理模塊，與所述提案生成器連接，用于利用所述全局語義特征和所述至少一個初級提案預測所述圖像中物體的3D邊界框和語義類別；

其中，所述形狀語義提取模塊包括：

快速搜索聚類CFDP模塊，用于接收所述點云特征，并使用CFDP算法對所述點云特征中的特征點進行聚類，獲得多個聚類中心；

k近鄰模塊，與所述CFDP模塊連接，用于根據所述多個聚類中心，利用k近鄰關系構建關于點的幾何位置的多個局部區域；

注意力聚合模塊，用于將所述聚類中心以及所述聚類中心對應的局部區域中的其他點，自適應地聚合點特征，得到所述全局語義特征；

所述注意力聚合模塊是用于：

將所述聚類中心以及所述聚類中心對應的局部區域中的其他點自適應地聚合點特征，生成相對位置信息；

根據所述聚類中心對應的局部區域中所有的點，構建使用注意力機制的聚合方法：

（1）

其中，表示所述全局語義特征，表示相對幾何位置建模函數，表示點特征處理函數，表示為所述聚類中心的點特征，表示所述聚類中心對應的局部區域中的點特征，和分別表示和的位置信息。

2.如權利要求1所述的圖卷積網絡系統，其特征在于，

所述多層感知器包括：所述多層圖卷積神經網絡和多個自適應聚合模塊，其中，第一層圖卷積神經網絡與所述形狀語義提取模塊連接，每兩層圖卷積神經網絡之間連接有一個自適應模塊；

所述多層圖卷積神經網絡用于提取所述多級語義特征；

所述自適應聚合模塊用于使用注意力機制，對前一層圖卷積神經網絡輸出的語義特征進行過濾，將過濾后的語義特征輸入后一層圖卷積神經網絡。

3.如權利要求2所述的圖卷積網絡系統，其特征在于，

所述注意力機制為公式（1）表示的聚合方法；

所述自適應聚合模塊是用于：對于聚合中心點，聚合對應的局部區域中的其他點的特征來更新的特征。

4.如權利要求3所述的圖卷積網絡系統，其特征在于，所述提案生成器與所述多層圖卷積神經網絡中的每一層連接，所述提案生成器是用于：

使用投票模塊將過濾后的多級語義特征轉換到相同的特征空間，其中，所述投票模塊使用的函數為：

（2）

其中， 表示所述多層感知器所設計使用的自適應的聚合方法，表示自適應聚合前的語義特征和相對位置，表示通過得到的語義特征的偏移量和相對位置的偏移量，表示自適應聚合后的語義特征和相對位置；

使用VoteNet方法，將生成所述至少一個初級提案。

5.如權利要求4所述的圖卷積網絡系統，其特征在于，所述提案推理模塊是用于：

利用公式整合所有的局部信息，其中，P表示所有局部信息的相對位置，F表示所述至少一個初級提案，表示整合后的信息；整合操作包括：沿頂點方向和通道方向對特征信息進行整合、考慮提案之間相對位置的整合以及Hadamard內積操作；

使用VoteNet方法，通過預測所述3D邊界框和語義類別。

6.一種基于圖卷積網絡系統的3D物體檢測方法，其特征在于，包括：

S10：獲取訓練數據集，其中，所述訓練數據集中包括多個訓練數據，每個訓練數據為一個圖像的點云特征；對每個訓練數據進行物體的3D邊界框標注和語義類別標注；

S20：構建如權利要求1-5任意一項所述的圖卷積網絡系統；

S30：利用所述訓練數據集對所述圖卷積網絡系統進行訓練；

S40：采集待預測圖像的點云特征，將所述待預測圖像的點云特征輸入訓練好的圖卷積網絡系統，得到所述待預測圖像中物體的3D邊界框和語義類別。