[發明專利]物體區域信息引導下的RGB-D場景3D目標檢測方法

在審

• 申請號: 202211399368.0
• 申請日: 2022-11-09
• 公開（公告）號: CN115574784A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 繆永偉;王金榮;單豐
• 申請（專利權）人: 杭州師范大學
• 主分類號: G01C11/02
• 分類號: G01C11/02;G01C11/04;G06T7/10
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 鄔趙丹

本發明涉及物體區域信息引導下的RGB?D場景3D目標檢測方法。本發明輸入場景RGB?D數據，提取彩色圖像中待檢測目標對象2D區域并為對象進行粗分類，再將對象區域二維邊界框提升到三維斜錐體區域并轉化形成點云數據；然后在斜錐體點云上利用物體區域信息進行特征提取，并利用特征變換與最大池聚合操作將點云全局特征和局部特征有效融合；利用融合特征，分割場景前景點與背景點，并通過場景背景點剔除以形成屏蔽性點云；最終在屏蔽性點云中進行物體中心點投票并借助物體區域信息提出建議及3D目標預測。本發明基于物體區域信息引導，融合全局和局部點云特征，能夠有效排除背景干擾、高效準確地從復雜場景中檢測到3D目標物體。

技術領域

本發明屬于圖像處理技術領域，涉及一種物體區域信息引導下的RGB-D場景3D目標檢測方法。

背景技術

在三維計算機視覺中，3D目標檢測對于大量真實場景應用而言至關重要，如自動駕駛、家用機器人等，其目的是檢測三維場景中的特定目標物體或感興趣區域，并確定目標物體位置和類別。目標檢測已經成為視覺領域中眾多復雜、高層視覺任務的基礎，如場景理解、目標跟蹤等；然而由于各種目標物體外觀、形狀和姿態各不相同以及成像過程中由于光照、屏蔽等因素干擾，使得目標檢測成為一個具有挑戰性的問題。

針對3D目標檢測的主流方法包括基于全局特征方法和基于局部特征方法。基于全局特征視點特征直方圖(VFH)目標檢測方法對場景表面噪聲和丟失的深度信息具有魯棒性，導致其能快速檢測出目標物體，但由于其對遮擋環境的適應性差導致檢測準確率不高；基于局部特征的目標檢測方法則首先提取場景或模板的關鍵點并計算各關鍵點的特征描述符，再根據這些描述符進行目標檢測或位姿估計，該類方法對復雜場景的背景適應性較差、計算耗時。

發明內容

本發明的目的就是提供一種物體區域信息引導下的RGB-D場景3D目標檢測方法。針對RGB-D場景中3D目標檢測對復雜背景的適應性較差、目標檢測中難以有效利用物體區域信息及場景點云特征信息等缺陷，基于物體區域信息引導，提出一種融合全局和局部點云特征并排除背景干擾的3D目標檢測方法，該能夠有效排除背景干擾、高效準確地從復雜場景中檢測到3D目標物體。

基于輸入的場景RGB-D數據，首先提取彩色圖像中待檢測目標對象2D區域并為對象進行粗分類，再將對象區域二維邊界框提升到三維斜錐體區域并轉化形成點云數據；然后在斜錐體點云上利用物體區域信息進行特征提取，并利用特征變換與最大池聚合操作將點云全局特征和局部特征有效融合；接著利用融合特征以預測各采樣點與前景背景相關程度的概率分數，依據此概率分數分割場景前景點與背景點，并通過場景背景點剔除以形成屏蔽性點云；最終在屏蔽性點云中進行物體中心點投票并借助物體區域信息提出建議及3D目標預測。

本發明具體包括如下步驟：

1)基于場景彩色圖二維邊界框生成三維斜錐體點云，并將RGB-D數據轉換成點云數據。以場景RGB圖及其深度信息作為輸入，再利用二維目標檢測器提取出圖像中的二維對象區域并對場景中目標物體進行分類；在三維斜錐體點云生成過程中，利用已知的攝影機投影矩陣將待預測目標對象的二維邊界框提升至三維斜錐體區域，從而場景中各目標物體均能獲取其對應的斜錐體區域，該斜錐體定義目標對象的三維搜索空間；接著收集場景中每一個斜錐體內的所有采樣點以形成整個場景的三維斜錐體點云。將目標對象的斜錐體朝向向場景的中心視圖旋轉，并使目標對象斜錐體中心軸與場景RGB圖像平面正交以規范化各斜錐體。

2)結合斜錐體點云全局特征與局部特征去除背景點云，并用于在場景點云中進行前背景分離。利用斜錐體區域內的全局特征和各采樣點局部特征將整個場景點云分割為前景點和背景點并把場景背景點剔除，最終集合所有前景點點云形成屏蔽性點云。

3)在場景斜錐體前景點云中進行3D目標檢測，并在規范化坐標中細化建議以獲得最終目標檢測結果。對每一個目標物體中心進行投票以分別產生投票中心點，然后聚類中心點附近的采樣點，同時利用斜錐體區域內得到目標物體信息生成高質量的目標建議，并經三維非最大抑制生成3D目標框，最終完成3D目標檢測。