[發(fā)明專(zhuān)利]估計(jì)物體姿態(tài)的方法和裝置、電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011503824.2
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN114723809A
• 公開(kāi)（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 汪昊;李煒明;劉洋;考月英;王強(qiáng);金知姸;張現(xiàn)盛;洪性勳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會(huì)社
• 主分類(lèi)號(hào): G06T7/70
• 分類(lèi)號(hào): G06T7/70;G06T7/136;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 張軍;曾世驍

本公開(kāi)提供了一種估計(jì)物體姿態(tài)的方法和裝置、電子設(shè)備，所述方法包括：通過(guò)利用單階段深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入的單幀圖像進(jìn)行處理來(lái)獲得實(shí)例分割圖像和標(biāo)準(zhǔn)化物體坐標(biāo)空間NOCS圖；根據(jù)NOCS圖和實(shí)例分割圖像來(lái)獲得2D?3D映射關(guān)系；根據(jù)所述2D?3D映射關(guān)系來(lái)確定所述單幀圖像中的物體實(shí)例的姿態(tài)。同時(shí)，可以使用人工智能模型來(lái)執(zhí)行上述方法。

技術(shù)領(lǐng)域

本申請(qǐng)總體說(shuō)來(lái)涉及增強(qiáng)顯示技術(shù)領(lǐng)域，更具體地講，涉及基于單階段深度神經(jīng)網(wǎng)絡(luò)估計(jì)物體的姿態(tài)的方法和裝置、電子設(shè)備。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)通過(guò)在用戶面前的現(xiàn)實(shí)場(chǎng)景中添加虛擬內(nèi)容來(lái)為用戶提供真實(shí)的信息體驗(yàn)。在三維(3D)空間中，增強(qiáng)現(xiàn)實(shí)技術(shù)需要對(duì)周?chē)矬w的3D狀態(tài)具有高精度的實(shí)時(shí)處理和理解，以在用戶面前呈現(xiàn)出高質(zhì)量的虛實(shí)融合效果。

為了更準(zhǔn)確地構(gòu)建3D空間中的物體實(shí)例，需要準(zhǔn)確且實(shí)時(shí)地估計(jì)物體實(shí)例的6自由度姿態(tài)和尺寸，現(xiàn)有技術(shù)中提出了諸多估計(jì)方法，例如早期提出的基于RGB-D(RGB-Depth)圖像的未知物體6自由度姿態(tài)和尺寸估計(jì)方法，該方法通過(guò)基于Mask R-CNN(Region-CNN)框架的深度網(wǎng)絡(luò)模型的輸出以及深度圖像，利用姿態(tài)擬合方法估算對(duì)象的6自由度姿態(tài)和尺寸，但是，該方法利用二階段網(wǎng)絡(luò)結(jié)構(gòu)來(lái)預(yù)測(cè)對(duì)象級(jí)的標(biāo)準(zhǔn)化物體坐標(biāo)空間(Normalized Object Coordinate Space(NOCS))圖，因此執(zhí)行速度較慢進(jìn)而難以滿足實(shí)時(shí)需求。另外，該方法依賴(lài)于RGB-D圖像輸入，在深度數(shù)據(jù)缺失或者存在噪聲時(shí)無(wú)法估計(jì)出物體實(shí)例的姿態(tài)和尺寸。為了滿足實(shí)時(shí)需求，現(xiàn)有技術(shù)提出了另一種能夠在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行的未知物體的6自由度姿態(tài)估計(jì)方法，該方法采用了對(duì)移動(dòng)設(shè)備友好的兩個(gè)深度網(wǎng)絡(luò)模型，然而，該方法由于設(shè)計(jì)原理而只使用單幀RGB圖像，無(wú)法估計(jì)未知物體的尺寸，只能估計(jì)出尺度意義下的物體姿態(tài)。另外，現(xiàn)有技術(shù)提出了一種能夠解決實(shí)例級(jí)的物體姿態(tài)估計(jì)問(wèn)題的方法，但是該方法要求物體已知無(wú)紋理CAD模型，且該方法依賴(lài)于2D檢測(cè)模型結(jié)果，無(wú)法滿足增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用中實(shí)時(shí)性的需求。

因此，需要一種能夠準(zhǔn)確且實(shí)時(shí)地估計(jì)未知物體的姿態(tài)的方法和裝置。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種基于單階段深度神經(jīng)網(wǎng)絡(luò)估計(jì)物體姿態(tài)的方法和裝置、電子設(shè)備。

本發(fā)明的一方面在于提供一種估計(jì)物體姿態(tài)的方法，包括：通過(guò)利用單階段深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入的單幀圖像進(jìn)行處理來(lái)獲得實(shí)例分割圖像和標(biāo)準(zhǔn)化物體坐標(biāo)空間NOCS圖；根據(jù)NOCS圖和實(shí)例分割圖像來(lái)獲得2D-3D映射關(guān)系；根據(jù)所述2D-3D映射關(guān)系來(lái)確定所述單幀圖像中的物體實(shí)例的姿態(tài)。

所述方法還可包括：利用單階段深度神經(jīng)網(wǎng)絡(luò)對(duì)所述單幀圖像進(jìn)行處理來(lái)獲得像素坐標(biāo)誤差圖，其中，獲得2D-3D映射關(guān)系的步驟包括：通過(guò)利用NOCS圖和實(shí)例分割圖像來(lái)獲得在所述單幀圖像中的所述物體實(shí)例內(nèi)部的像素點(diǎn)和所述像素點(diǎn)的NOCS點(diǎn)以建立所述物體實(shí)例的初步2D-3D映射關(guān)系；以及利用像素坐標(biāo)誤差圖去除所述初步2D-3D映射關(guān)系中的異常2D-3D映射來(lái)獲得所述2D-3D映射關(guān)系。

像素坐標(biāo)誤差圖中的每個(gè)誤差值可表示針對(duì)所述單幀圖像中的每個(gè)像素點(diǎn)預(yù)測(cè)的NOCS坐標(biāo)值與真實(shí)的NOCS坐標(biāo)值之間的差異。

利用像素坐標(biāo)誤差圖去除所述初步2D-3D映射關(guān)系中的異常2D-3D映射來(lái)獲得所述2D-3D映射關(guān)系的步驟可包括：確定像素坐標(biāo)誤差圖中比預(yù)定閾值大的誤差值；從所述初步2D-3D映射關(guān)系中去除對(duì)應(yīng)于與比所述預(yù)定閾值大的誤差值相應(yīng)的NOCS點(diǎn)的2D-3D映射以獲得所述2D-3D映射關(guān)系。

利用單階段深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入的單幀圖像進(jìn)行處理的步驟可包括：利用單階段深度神經(jīng)網(wǎng)絡(luò)中的特征提取模塊對(duì)所述單幀圖像進(jìn)行特征提取處理來(lái)獲得多個(gè)尺度下的圖像特征。