[發(fā)明專利]基于2D檢測的物體6D姿態(tài)估計(jì)方法、裝置及計(jì)算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202011581497.2
• 申請日: 2020-12-28
• 公開（公告）號(hào): CN112614184A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 徐楓;劉金輝;楊東
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/12;G06T7/13
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

本申請?zhí)岢鲆环N基于2D檢測的物體6D姿態(tài)估計(jì)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。其中，方法包括：響應(yīng)于針對單張RGB圖像的物體6D姿態(tài)估計(jì)請求，從單張RGB圖像中裁剪出目標(biāo)物體所在的圖像區(qū)域；獲取圖像區(qū)域之中目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)；以及根據(jù)目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)和已知目標(biāo)物體三維模型上對應(yīng)關(guān)鍵點(diǎn)的三維點(diǎn)坐標(biāo)進(jìn)行匹配，以計(jì)算出目標(biāo)物體的6D姿態(tài)。本申請可以減少背景信息的干擾，提升6D姿態(tài)估計(jì)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請涉及圖像處理領(lǐng)域，尤其涉及一種基于2D檢測的物體6D姿態(tài)估計(jì)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

物體的6D(6維)姿態(tài)估計(jì)的目的是檢測物體并估計(jì)其相對于標(biāo)準(zhǔn)幀的方向和平移。其中，6D姿態(tài)包括三個(gè)維度的旋轉(zhuǎn)和三個(gè)維度的平移。在增強(qiáng)現(xiàn)實(shí)，自動(dòng)駕駛和機(jī)器人操作中，6D姿態(tài)估計(jì)都起到非常重要的作用。但是，從單張RGB(一種包含紅、綠、藍(lán)三色的色彩模式)圖像預(yù)測物體的6D姿態(tài)困難之處在于物體之間的相互遮擋以及背景信息的干擾。因此，如何避免背景信息的干擾以提升6D姿態(tài)估計(jì)的準(zhǔn)確率，已經(jīng)成為亟待解決的問題。

發(fā)明內(nèi)容

本申請的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。

為此，本申請的第一個(gè)目的在于提出一種基于2D檢測的物體6D姿態(tài)估計(jì)方法，可以減少背景信息的干擾，提升6D姿態(tài)估計(jì)的準(zhǔn)確率。

本申請的第二個(gè)目的在于提出一種基于2D檢測的物體6D姿態(tài)估計(jì)裝置。

本申請的第三個(gè)目的在于提出一種計(jì)算機(jī)設(shè)備。

本申請的第四個(gè)目的在于提出一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本申請的第五個(gè)目的在于提出一種計(jì)算機(jī)程序產(chǎn)品。

為達(dá)上述目的，本申請第一方面實(shí)施例提出了一種基于2D檢測的物體6D姿態(tài)估計(jì)方法，包括：

響應(yīng)于針對單張RGB圖像的物體6D姿態(tài)估計(jì)請求，從所述單張RGB圖像中裁剪出目標(biāo)物體所在的圖像區(qū)域；

獲取所述圖像區(qū)域之中所述目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)；以及

根據(jù)所述目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)和已知目標(biāo)物體三維模型上對應(yīng)關(guān)鍵點(diǎn)的三維點(diǎn)坐標(biāo)進(jìn)行匹配，以計(jì)算出所述目標(biāo)物體的6D姿態(tài)。

本申請第二方面實(shí)施例提出了一種基于2D檢測的物體6D姿態(tài)估計(jì)裝置，包括：

第一獲取模塊，用于響應(yīng)于針對單張RGB圖像的物體6D姿態(tài)估計(jì)請求，從所述單張RGB圖像中裁剪出目標(biāo)物體所在的圖像區(qū)域；

第二獲取模塊，用于獲取所述圖像區(qū)域之中所述目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)；以及

估計(jì)模塊，用于根據(jù)所述目標(biāo)物體的2D關(guān)鍵點(diǎn)坐標(biāo)和已知目標(biāo)物體三維模型上對應(yīng)關(guān)鍵點(diǎn)的三維點(diǎn)坐標(biāo)進(jìn)行匹配，以計(jì)算出所述目標(biāo)物體的6D姿態(tài)。

本申請第三方面實(shí)施例提出了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)本申請第一方面實(shí)施例所述的基于2D檢測的物體6D姿態(tài)估計(jì)方法。

本申請第四方面實(shí)施例提出了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請第一方面實(shí)施例所述的基于2D檢測的物體6D姿態(tài)估計(jì)方法。

本申請第五方面實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令由處理器執(zhí)行時(shí)，執(zhí)行本申請第一方面實(shí)施例所述的基于2D檢測的物體6D姿態(tài)估計(jì)方法。