[發(fā)明專利]從全景視頻中檢測(cè)三維物體并還原六自由度位姿的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011188640.1
• 申請(qǐng)日: 2020-10-30
• 公開（公告）號(hào): CN114445727A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 康昊;李皓翔;管理;華剛
• 申請(qǐng)（專利權(quán)）人: 蟲極科技（北京）有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京律和信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11446
• 代理人: 郝文博

本申請(qǐng)?zhí)岢鲆环N從全景視頻中檢測(cè)三維物體并還原六自由度位姿的方法，包括：獲取全景視頻；抽取所述全景視頻的關(guān)鍵幀，獲得等距長(zhǎng)方投影圖；利用預(yù)先訓(xùn)練的檢測(cè)器網(wǎng)絡(luò)模型和所述等距長(zhǎng)方投影圖，獲取所述關(guān)鍵幀中包含的物體的六自由度位姿。根據(jù)本申請(qǐng)的技術(shù)方案，利用全景RGB視頻，檢測(cè)其中物體，并計(jì)算全部物體在統(tǒng)一三維空間中位置和角度，提出了一種針對(duì)全景視頻計(jì)算物體位姿，也即物體六自由度位姿的算法。

技術(shù)領(lǐng)域

本申請(qǐng)涉及智慧零售領(lǐng)域，具體而言，涉及一種從全景視頻中檢測(cè)三維物體并還原六自由度位姿的方法及裝置。

背景技術(shù)

目前，物體的檢測(cè)和位姿計(jì)算對(duì)于場(chǎng)景空間理解有著顯著的意義，其具體應(yīng)用廣泛遍布于自動(dòng)駕駛和導(dǎo)航、機(jī)器人抓取和操作，增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。尤其在智慧零售中，對(duì)于貨架(柜)和其他店內(nèi)物體的檢測(cè)和位姿計(jì)算是陳列布局和內(nèi)控檢查等業(yè)務(wù)自動(dòng)化的基石。

現(xiàn)有技術(shù)通過(guò)融合圖片像素和深度信息，基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，對(duì)于單張圖中物體進(jìn)行檢測(cè)和位姿估算。亦有研究使用三維點(diǎn)云或單張圖的像素信息，達(dá)到類似目的。現(xiàn)有算法依賴于傳感器深度信息，如點(diǎn)云或RGBD數(shù)據(jù)。而少量根據(jù)RGB像素估算三維物體位姿的算法應(yīng)用于非全景圖，不適用于全景，且作用于單圖。目前，針對(duì)全景視頻的物體計(jì)算物體位姿仍是空白。

在所述背景技術(shù)部分，公開的上述信息僅用于加強(qiáng)對(duì)本申請(qǐng)的背景的理解，因此它可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)信息。

發(fā)明內(nèi)容

本申請(qǐng)旨在提供一種由全景視頻檢測(cè)其中三維物體并還原六自由度位姿的方法及裝置，能夠利用全景視頻計(jì)算物體的位姿。

根據(jù)本申請(qǐng)的一方面，提出一種從全景視頻中檢測(cè)三維物體并還原六自由度位姿的方法，包括：獲取全景視頻；抽取所述全景視頻的關(guān)鍵幀，獲得等距長(zhǎng)方投影圖；利用預(yù)先訓(xùn)練的檢測(cè)器網(wǎng)絡(luò)模型和所述等距長(zhǎng)方投影圖，獲取所述關(guān)鍵幀中包含的物體的六自由度位姿。

根據(jù)一些實(shí)施例，所述獲取全景視頻，包括獲取來(lái)自移動(dòng)全景相機(jī)的所述全景視頻，所述移動(dòng)全景相機(jī)包括360相機(jī)或雙魚眼全景相機(jī)。

根據(jù)一些實(shí)施例，抽取所述全景視頻的關(guān)鍵幀，包括根據(jù)所述全景視頻的采集空間的采集面積大小，抽取關(guān)鍵幀。

根據(jù)一些實(shí)施例，前述方法還包括按如下方式預(yù)先訓(xùn)練所述檢測(cè)器網(wǎng)絡(luò)模型：獲取訓(xùn)練用全景視頻；抽取所述訓(xùn)練用全景視頻的關(guān)鍵幀，獲得訓(xùn)練用等距長(zhǎng)方投影圖；利用所述訓(xùn)練用等距長(zhǎng)方投影圖重建點(diǎn)云俯視圖；結(jié)合所述點(diǎn)云俯視圖在所述訓(xùn)練用等距長(zhǎng)方投影圖上標(biāo)注物體；獲取所述物體的三維空間信息；將所述等距長(zhǎng)方投影圖和所述三維空間信息作為訓(xùn)練數(shù)據(jù)，訓(xùn)練檢測(cè)網(wǎng)絡(luò)，得到所述檢測(cè)器網(wǎng)絡(luò)模型。

根據(jù)一些實(shí)施例，利用所述訓(xùn)練用等距長(zhǎng)方投影圖重建點(diǎn)云俯視圖，包括借助SfM算法，利用抽取所述訓(xùn)練用全景視頻的關(guān)鍵幀，重建所述全景視頻的采集空間點(diǎn)云。

根據(jù)一些實(shí)施例，所述三維空間信息包括所述物體的三維包圍框信息，所述三維包圍框信息包括三維包圍框的中心點(diǎn)以及三維包圍框正面法向量與相機(jī)視軸的夾角。

根據(jù)一些實(shí)施例，所述標(biāo)注物體包括標(biāo)注物體的平面位置、寬度和類型。

根據(jù)一些實(shí)施例，獲取所述物體的三維空間信息，包括根據(jù)所述物體的空間位置和尺寸信息獲得相機(jī)坐標(biāo)系下的三維空間信息。

根據(jù)一些實(shí)施例，所述檢測(cè)器網(wǎng)絡(luò)包括CenterNet。

根據(jù)一些實(shí)施例，獲取所述關(guān)鍵幀中包含的物體的六自由度位姿，包括：利用所述檢測(cè)器網(wǎng)絡(luò)模型，獲得所述物體的三維空間信息；獲取與所述關(guān)鍵幀相應(yīng)的相機(jī)位姿；根據(jù)所述三維空間信息和所述相機(jī)位姿，獲得所述關(guān)鍵幀中包含的物體的六自由度位姿。

根據(jù)一些實(shí)施例，獲取與所述關(guān)鍵幀相應(yīng)的相機(jī)位姿，包括借助SfM算法，利用抽取所述全景視頻的關(guān)鍵幀，計(jì)算每一關(guān)鍵幀對(duì)應(yīng)的相機(jī)位姿。