[發(fā)明專利]一種基于RGBD圖像的目標檢測方法、裝置及計算機設(shè)備

有效

• 申請?zhí)枺?/td>: 202010523578.0
• 申請日: 2020-06-10
• 公開（公告）號: CN111738995B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計）人: 唐詩堯;汪明明;冀懷遠
• 申請（專利權(quán)）人: 蘇寧云計算有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T7/136;G06V40/10;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市萬慧達律師事務(wù)所 11111
• 代理人: 趙然

本發(fā)明公開了一種基于RGBD圖像的目標檢測方法、裝置及計算機設(shè)備，屬于深度學(xué)習(xí)和目標檢測技術(shù)領(lǐng)域。所述方法包括：獲取RGB圖像與對應(yīng)深度圖像；對所述RGB圖像、所述深度圖像分別進行數(shù)據(jù)預(yù)處理，所述數(shù)據(jù)預(yù)處理至少包括自適應(yīng)歸一化操作；將數(shù)據(jù)預(yù)處理后的RGB圖像與深度圖像對齊合并成RGBD圖像；將所述RGBD圖像輸入預(yù)設(shè)深度學(xué)習(xí)模型，獲得至少包括待測目標和待測目標組件的初步候選框；對所述初步候選框進行閾值過濾、NMS過濾和深度信息過濾，獲得輸出框；根據(jù)所述輸出框確定所述待測目標組件與所述待測目標的目標關(guān)聯(lián)關(guān)系，根據(jù)所述目標關(guān)聯(lián)關(guān)系獲得目標檢測結(jié)果。本發(fā)明減少了誤檢、漏檢現(xiàn)象，能夠準確高效地獲取目標檢測結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)和目標檢測技術(shù)領(lǐng)域，特別涉及一種基于RGBD圖像的目標檢測方法、裝置及計算機設(shè)備。

背景技術(shù)

為順應(yīng)智能零售的時代潮流，無人店項目將線下零售和人工智能相結(jié)合，提供一種和線上購物一樣流暢的全新購物方式。系統(tǒng)通過全覆蓋式拍攝進店的每一個顧客的行為軌跡，實時提供商品推薦和結(jié)算等服務(wù)，真正意義上做到即拿即走的無感知購物體驗。

目前的目標檢測算法及其使用的數(shù)據(jù)增強方法都僅使用RGB圖像數(shù)據(jù)，盡管通過利用傳統(tǒng)數(shù)據(jù)增強方法數(shù)據(jù)獲取方便，設(shè)備成本較低，但存在信息量不足的問題，容易造成誤檢與漏檢，進而影響到目標檢測算法的準確度，甚至導(dǎo)致整體系統(tǒng)無法正常運行從而影響出店結(jié)算。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實施例提供了一種基于RGBD圖像的目標檢測方法、裝置及計算機設(shè)備，通過對RGBD圖像設(shè)置相應(yīng)數(shù)據(jù)增強方法擴充訓(xùn)練數(shù)據(jù)，以及針對RGBD圖像的自適應(yīng)歸一化方法和過濾處理等操作，減少了誤檢、漏檢現(xiàn)象，能夠準確高效地獲取目標檢測結(jié)果。所述技術(shù)方案如下：

一方面，提供了一種基于RGBD圖像的目標檢測方法，所述方法包括：

獲取RGB圖像與對應(yīng)深度圖像；

對所述RGB圖像、所述深度圖像分別進行數(shù)據(jù)預(yù)處理，所述數(shù)據(jù)預(yù)處理至少包括自適應(yīng)歸一化操作；

將數(shù)據(jù)預(yù)處理后的RGB圖像與深度圖像對齊合并成RGBD圖像；

將所述RGBD圖像輸入預(yù)設(shè)深度學(xué)習(xí)模型，獲得至少包括待測目標和待測目標組件的初步候選框；

對所述初步候選框進行閾值過濾、NMS過濾和深度信息過濾，獲得輸出框；

根據(jù)所述輸出框確定所述待測目標組件與所述待測目標的目標關(guān)聯(lián)關(guān)系，根據(jù)所述目標關(guān)聯(lián)關(guān)系獲得目標檢測結(jié)果。

優(yōu)選地，所述方法還包括：

獲取無目標場景下的深度圖像，計算所述自適應(yīng)歸一化操作所需參數(shù)和所述深度信息過濾所需參數(shù)。

優(yōu)選地，獲取無目標場景下的深度圖像，計算所述自適應(yīng)歸一化操作所需參數(shù)和所述深度信息過濾所需參數(shù)，包括：

采集N張深度圖像，取其非零中位數(shù)合并為一張深度圖并去噪，然后在所述深度圖中指定一部分地面區(qū)域，由區(qū)域生長法獲得地面蒙版并去噪，再由去噪后的地面蒙版與去噪后的深度圖計算得到不同地面區(qū)域深度圖，計算所述不同地面區(qū)域深度圖中非零區(qū)域的均值。

優(yōu)選地，對所述RGB圖像、所述深度圖像分別進行數(shù)據(jù)預(yù)處理，包括：

將所述RGB圖像、所述深度圖像分別補零到預(yù)設(shè)圖片比例；

再分別縮放到預(yù)設(shè)輸入尺寸；

最后分別進行所述自適應(yīng)歸一化操作。

優(yōu)選地，在將所述RGBD圖像輸入預(yù)設(shè)深度學(xué)習(xí)模型，獲得至少包括待測目標和待測目標組件的初步候選框之前，所述方法還包括：