[發(fā)明專利]一種動(dòng)態(tài)場(chǎng)景下小物體的位姿追蹤方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910789666.2
• 申請(qǐng)日: 2019-08-26
• 公開（公告）號(hào): CN110490908B
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 賀進(jìn);李驪
• 申請(qǐng)（專利權(quán)）人: 北京華捷艾米科技有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73;G06K9/38
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張靜

1.一種動(dòng)態(tài)場(chǎng)景下小物體位姿追蹤方法，其特征在于，包括：

在無干預(yù)的情況下，獲取小物體的初始深度圖，并根據(jù)所述小物體的初始深度圖初始化小物體的三維模型，并根據(jù)小物體尺寸初始化小物體的包圍盒；

基于所述小物體的三維模型和當(dāng)前時(shí)刻小物體的位姿預(yù)測(cè)小物體的第一深度圖；

基于所述小物體的第一深度圖，更新小物體的包圍盒；

實(shí)時(shí)采集小物體在運(yùn)動(dòng)狀態(tài)下的第二深度圖；

基于小物體的包圍盒剔除所述第二深度圖中的干擾信息，得到最終深度圖；

將所述最終深度圖和所述第一深度圖進(jìn)行匹配，更新當(dāng)前時(shí)刻小物體的位姿；

基于當(dāng)前時(shí)刻小物體的位姿和所述最終深度圖更新小物體的三維模型，并返回執(zhí)行基于所述小物體的三維模型和當(dāng)前時(shí)刻小物體的位姿預(yù)測(cè)小物體的第一深度圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始化所述小物體的包圍盒，包括：

根據(jù)所述小物體的尺寸確定所述包圍盒的長度；

基于所述包圍盒的長度、小物體的尺寸以及相機(jī)的參數(shù)進(jìn)行分析，確定包圍盒的原點(diǎn)坐標(biāo)；

基于所述包圍盒的長度確定構(gòu)成所述包圍盒的每個(gè)立方格的邊長，并基于每個(gè)立方格的邊長確定每個(gè)立方格在包圍盒的位置；

基于包圍盒的原點(diǎn)坐標(biāo)和每個(gè)立方格在包圍盒內(nèi)的位置確定每個(gè)立方格的中心坐標(biāo)；

初始化表示每個(gè)立方格狀態(tài)的數(shù)值；所述立方格的狀態(tài)包括：位于包圍盒外和位于包圍盒內(nèi)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述小物體的第一深度圖，更新小物體的包圍盒，包括：

生成所述第一深度圖的二值化掩膜；

將構(gòu)成包圍盒的每個(gè)立方格投影到第一深度圖上；

基于所述第一深度圖的二值化掩膜中各個(gè)像素的值和每個(gè)立方格投影到第一深度圖的位置，確定每個(gè)立方格的數(shù)值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于小物體的包圍盒剔除所述第二深度圖中的干擾信息，得到最終深度圖，包括：

基于小物體的包圍盒和區(qū)域生長法，對(duì)干擾信息進(jìn)行初步剔除，得到候選深度圖；

將所述候選深度圖中位于包圍盒外的像素點(diǎn)設(shè)置為0，得到最終深度圖。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于小物體的包圍盒和區(qū)域生長法，對(duì)干擾信息進(jìn)行初步剔除，得到候選深度圖，包括：

計(jì)算第二深度圖中的每個(gè)像素點(diǎn)的深度值與第一深度圖中相同深度值的差值，將差值小于第一預(yù)設(shè)閾值的像素點(diǎn)作為種子放入到第一隊(duì)列中；

順序遍歷第一隊(duì)列中的所有種子，基于所述第二深度圖進(jìn)行區(qū)域生長，得到新種子，并將新種子放入第二隊(duì)列中；

判斷第二隊(duì)列中的種子數(shù)量與第一隊(duì)列中的種子數(shù)量是否滿足預(yù)設(shè)條件；

若第二隊(duì)列中的種子數(shù)量與第一隊(duì)列中的種子數(shù)量不滿足預(yù)設(shè)條件，則將第二隊(duì)列中的種子替換掉第一隊(duì)列中的種子，并返回執(zhí)行順序遍歷第一隊(duì)列中的所有種子，基于所述第二深度圖進(jìn)行區(qū)域生長，得到新種子，并將新種子放入第二隊(duì)列中；

若第二隊(duì)列中的種子數(shù)量與第一隊(duì)列中的種子數(shù)量滿足預(yù)設(shè)條件，則停止生長；將第二隊(duì)列中所有的種子對(duì)應(yīng)的像素點(diǎn)設(shè)置為1，將第二深度圖中其它的像素點(diǎn)設(shè)置為0，得到候選深度圖。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述候選深度圖中位于包圍盒外的像素點(diǎn)設(shè)置為0，包括：

基于所述候選深度圖生成點(diǎn)云，并利用當(dāng)前時(shí)刻的小物體的位姿將點(diǎn)云轉(zhuǎn)換到全局坐標(biāo)系中；

針對(duì)于全局坐標(biāo)系中的每個(gè)點(diǎn)，若任何一點(diǎn)滿足第一條件和第二條件，則將該點(diǎn)對(duì)應(yīng)的候選深度圖中的像素點(diǎn)的像素值設(shè)置為0，得到最終深度值；

所述第一條件為：該點(diǎn)對(duì)應(yīng)的包圍盒中立方格的數(shù)值為預(yù)設(shè)的第一數(shù)值；

第二條件為：位于該點(diǎn)對(duì)應(yīng)包圍盒的小立方格的鄰域內(nèi)的所有立方格的數(shù)值均為所述第一數(shù)值；

所述預(yù)設(shè)的第一數(shù)值表示該立方格位于包圍盒外。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述小物體的干擾信息為操作小物體運(yùn)動(dòng)的手的信息。