[發(fā)明專利]姿態(tài)估計(jì)優(yōu)化方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010260079.7
• 申請(qǐng)日: 2020-04-03
• 公開（公告）號(hào): CN111462238B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 季向陽(yáng);李志剛
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06N3/045;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種姿態(tài)估計(jì)優(yōu)化方法、裝置及存儲(chǔ)介質(zhì)。所述方法：獲取測(cè)試圖像，測(cè)試圖像中包括目標(biāo)對(duì)象；根據(jù)測(cè)試圖像，采用姿態(tài)優(yōu)化模型輸出得到目標(biāo)對(duì)象的姿態(tài)偏差，姿態(tài)優(yōu)化模型為采用樣本圖像對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的模型；根據(jù)姿態(tài)偏差對(duì)目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化。本公開實(shí)施例通過(guò)采用訓(xùn)練得到的姿態(tài)優(yōu)化模型確定目標(biāo)對(duì)象的姿態(tài)偏差，從而對(duì)目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化，大大提高了姿態(tài)估計(jì)的準(zhǔn)確率，保證了姿態(tài)估計(jì)效果。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種姿態(tài)估計(jì)優(yōu)化方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

物體姿態(tài)估計(jì)在機(jī)器人作業(yè)、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等方面起著至關(guān)重要的作用。物體姿態(tài)估計(jì)指的是從圖像中準(zhǔn)確估計(jì)出目標(biāo)物體相對(duì)相機(jī)的姿態(tài)信息。姿態(tài)信息通常包括旋轉(zhuǎn)量和平移量，其中旋轉(zhuǎn)量可以表示相機(jī)坐標(biāo)系相對(duì)于目標(biāo)物體坐標(biāo)系的旋轉(zhuǎn)關(guān)系，平移量可以表示相機(jī)坐標(biāo)系原點(diǎn)相對(duì)于目標(biāo)物體坐標(biāo)系原點(diǎn)的平移信息。

物體姿態(tài)估計(jì)很容易受到遮擋、光照變化、物體具有的對(duì)稱性等因素的影響，準(zhǔn)確估計(jì)出目標(biāo)物體相對(duì)相機(jī)的姿態(tài)信息具有很大的挑戰(zhàn)性。相關(guān)技術(shù)中，難以對(duì)物體姿態(tài)達(dá)到高準(zhǔn)確率的估計(jì)。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種姿態(tài)估計(jì)優(yōu)化方法、裝置及存儲(chǔ)介質(zhì)。所述技術(shù)方案包括：

根據(jù)本公開的一方面，提供了一種姿態(tài)估計(jì)優(yōu)化方法，所述方法包括：

獲取測(cè)試圖像，所述測(cè)試圖像中包括目標(biāo)對(duì)象；

根據(jù)所述測(cè)試圖像，采用姿態(tài)優(yōu)化模型輸出得到所述目標(biāo)對(duì)象的姿態(tài)偏差，所述姿態(tài)優(yōu)化模型為采用樣本圖像對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的模型；

根據(jù)所述姿態(tài)偏差對(duì)所述目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述測(cè)試圖像，采用姿態(tài)優(yōu)化模型輸出得到所述目標(biāo)對(duì)象的姿態(tài)偏差，包括：

從所述測(cè)試圖像中提取第一特征向量，所述第一特性向量用于指示所述測(cè)試圖像中所述目標(biāo)對(duì)象的真實(shí)物體姿態(tài)；

從預(yù)設(shè)字典中獲取所述第一特征向量匹配的第二特征向量，所述第二特征向量用于指示所述目標(biāo)對(duì)象的初始估計(jì)姿態(tài)；

將所述第一特征向量和所述第二特征向量輸入至所述姿態(tài)優(yōu)化模型中，輸出得到所述目標(biāo)對(duì)象的所述姿態(tài)偏差。

在另一種可能的實(shí)現(xiàn)方式中，所述預(yù)設(shè)字典包括多個(gè)姿態(tài)特征對(duì)，所述姿態(tài)特征對(duì)包括候選姿態(tài)和對(duì)應(yīng)的特征向量；

所述根據(jù)所述姿態(tài)偏差對(duì)所述目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化之前，還包括：

將所述第二特征向量對(duì)應(yīng)的候選姿態(tài)確定為所述目標(biāo)對(duì)象的所述初始估計(jì)姿態(tài)。

在另一種可能的實(shí)現(xiàn)方式中，所述姿態(tài)偏差用于指示所述目標(biāo)對(duì)象的真實(shí)物體姿態(tài)與所述初始估計(jì)姿態(tài)之間的偏差，所述根據(jù)所述姿態(tài)偏差對(duì)所述目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化，包括：

根據(jù)所述姿態(tài)偏差和所述初始估計(jì)姿態(tài)，確定所述目標(biāo)對(duì)象的所述真實(shí)物體姿態(tài)。

在另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述測(cè)試圖像，采用姿態(tài)優(yōu)化模型輸出得到所述目標(biāo)對(duì)象的姿態(tài)偏差之前，還包括：

獲取包括至少一組樣本數(shù)據(jù)組的訓(xùn)練樣本集，每組所述樣本數(shù)據(jù)組包括第一樣本特征向量、與所述第一樣本特征向量匹配的第二樣本特征向量和預(yù)先標(biāo)注的正確姿態(tài)偏差；

根據(jù)所述訓(xùn)練樣本集訓(xùn)練得到所述姿態(tài)優(yōu)化模型。

在另一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述姿態(tài)偏差對(duì)所述目標(biāo)對(duì)象的初始估計(jì)姿態(tài)進(jìn)行優(yōu)化之后，還包括：

將所述第一特征向量、所述第二特征向量和所述姿態(tài)偏差添加至訓(xùn)練樣本集，得到更新后的訓(xùn)練樣本集；