[發明專利]物體區域信息引導下的RGB-D場景3D目標檢測方法

在審

• 申請號: 202211399368.0
• 申請日: 2022-11-09
• 公開（公告）號: CN115574784A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 繆永偉;王金榮;單豐
• 申請（專利權）人: 杭州師范大學
• 主分類號: G01C11/02
• 分類號: G01C11/02;G01C11/04;G06T7/10
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 鄔趙丹

1.物體區域信息引導下的RGB-D場景3D目標檢測方法，其特征在于：具體包括如下步驟：

1)基于場景彩色圖二維邊界框生成三維斜錐體點云，并將RGB-D數據轉換成點云數據；以場景RGB圖及其深度信息作為輸入，再利用二維目標檢測器提取出圖像中的二維對象區域并對場景中目標物體進行分類；在三維斜錐體點云生成過程中，利用已知的攝影機投影矩陣將待預測目標對象的二維邊界框提升至三維斜錐體區域，從而場景中各目標物體均能獲取其對應的斜錐體區域，該斜錐體定義目標對象的三維搜索空間；接著收集場景中每一個斜錐體內的所有采樣點以形成整個場景的三維斜錐體點云；將目標對象的斜錐體朝向向場景的中心視圖旋轉，并使目標對象斜錐體中心軸與場景RGB圖像平面正交以規范化各斜錐體；

2)結合斜錐體點云全局特征與局部特征去除背景點云，并用于在場景點云中進行前背景分離；利用斜錐體區域內的全局特征和各采樣點局部特征將整個場景點云分割為前景點和背景點并把場景背景點剔除，最終集合所有前景點點云形成屏蔽性點云；

3)在場景斜錐體前景點云中進行3D目標檢測，并在規范化坐標中細化建議以獲得最終目標檢測結果；對每一個目標物體中心進行投票以分別產生投票中心點，然后聚類中心點附近的采樣點，同時利用斜錐體區域內得到目標物體信息生成高質量的目標建議，并經三維非最大抑制生成3D目標框，最終完成3D目標檢測。

2.如權利要求1所述的物體區域信息引導下的RGB-D場景3D目標檢測方法，其特征在于：所述步驟2)具體為：以場景三維斜錐體點云數據作為輸入，利用輸入變換和特征變換，經權值共享的多層感知器并利用最大池操作聚合采樣點全局特征；僅利用斜錐體點云全局特征難以對各采樣點進行前景背景分割，故在得到斜錐體點云全局特征后需要進一步將全局特征與各采樣點局部特征進行連接，并將其反饋給各采樣點特征；然后，基于組合點特征提取新的采樣點特征，使每個采樣點特征能同時具備局部信息和全局信息，即相當于單個采樣點在全局特征中進行了一次檢索；最后對每個采樣點進行打分輸出，從而實現場景前景點云和背景點云的分割；場景斜錐體點云經分割后能提取分類為感興趣目標對象的采樣點形成前景點云，并剔除場景背景點以形成用于3D目標預測的屏蔽性點云。