[發(fā)明專利]一種動態(tài)目標(biāo)位姿信息優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 202111643897.6
• 申請日: 2021-12-29
• 公開（公告）號: CN114241148A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計）人: 趙彥植;尹玉成;辛梓;賈騰龍;王小亮
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/13;G06N3/08;G06N3/04
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 范三霞

1.一種動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，包括：

對于單目相機(jī)拍攝的單幀圖像，基于深度學(xué)習(xí)模型輸出單幀圖像中動態(tài)目標(biāo)2D-box的位置信息，并生成單幀圖像的掩膜圖像；

對于單幀圖像，基于線檢測算法，生成單幀圖像的所有檢測線段，形成第一檢測線段集合；

基于動態(tài)目標(biāo)2D-box的位置信息、單幀圖像的掩膜圖像以及第一檢測線段線集合，生成對應(yīng)的動態(tài)目標(biāo)3D-box；

根據(jù)對應(yīng)的動態(tài)目標(biāo)3D-box的位置信息，利用重投影誤差，優(yōu)化每幀圖像的動態(tài)目標(biāo)2D-box的位置信息；

基于優(yōu)化后的動態(tài)目標(biāo)2D-box的位置信息，生成對應(yīng)的動態(tài)目標(biāo)3D-box的位置信息；

聯(lián)合多幀圖像生成的動態(tài)目標(biāo)3D-box位姿和車體位姿信息，對動態(tài)目標(biāo)3D-box位姿進(jìn)行優(yōu)化，生成動態(tài)目標(biāo)的最終3D-box位姿信息。

2.根據(jù)權(quán)利要求1所述的動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，所述對于單目相機(jī)拍攝的單幀圖像，基于深度學(xué)習(xí)模型輸出單幀圖像中動態(tài)目標(biāo)2D-box的位置信息，包括：

將單幀圖像輸入深度學(xué)習(xí)模型中，獲取所述深度學(xué)習(xí)模型識別的動態(tài)目標(biāo)2D-box在圖像坐標(biāo)系下的位置信息，所述位置信息采用位置向量表示[x,y,width,height]，其中，[x,y]表示動態(tài)目標(biāo)2d-box的左上角坐標(biāo)，[width,height]表示動態(tài)目標(biāo)2d-box的寬度和高度。

3.根據(jù)權(quán)利要求1所述的動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，所述對于單幀圖像，基于線檢測算法，生成單幀圖像的所有檢測線段，形成第一檢測線段集合，包括：

對于單幀圖像，基于canny線檢測算法，生成單幀圖像的所有檢測線段，單幀圖像中的所有檢測線段形成第一檢測線段集合，每一條檢測線段的向量表示為：[x1,y1,x2,y2]，其中(x1,y1)為檢測線段段的起點(diǎn)坐標(biāo)，(x2,y2)為檢測線段段的終點(diǎn)坐標(biāo)，且x1x2。

4.根據(jù)權(quán)利要求1所述的動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，所述基于動態(tài)目標(biāo)2D-box的位置信息、單幀圖像的掩膜圖像以及第一檢測線段集合，生成對應(yīng)的動態(tài)目標(biāo)3D-box，包括：

基于掩膜圖像，過濾所述第一檢測線段集合L中灰度值為255的檢測線段，并對灰度值為0的檢測線段進(jìn)行合并和刪除操作，得到第二檢測線段集合Lv；

基于單目相機(jī)的姿態(tài)角信息，對所述第二檢測線段集合Lv中的檢測線段進(jìn)行篩選，得到第三檢測線段集合Lvp；

基于動態(tài)目標(biāo)2D-box的位置信息和所述第三檢測線段集合Lvp，生成與動態(tài)目標(biāo)2D-box對應(yīng)的動態(tài)目標(biāo)3D-box的位置信息。

5.根據(jù)權(quán)利要求4所述的動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，所述對灰度值為0的檢測線段進(jìn)行合并和刪除操作，得到第二檢測線段集合Lv，包括：

計算第一檢測線段集合中所有灰度值為0的檢測線段的角度，所述角度用其斜率表征；

計算每相鄰兩條檢測線段之間的角度差和距離，所述每相鄰兩條檢測線段之間的距離是指其中一條檢測線段的尾點(diǎn)和另一條檢測線段的起點(diǎn)之間的距離；

當(dāng)所述角度差小于預(yù)設(shè)角度閾值且所述距離小于預(yù)設(shè)距離閾值時，將所述兩條相鄰檢測線段進(jìn)行合并；

將線段長度大于預(yù)設(shè)長度閾值的檢測線段進(jìn)行刪除，得到第二檢測線段集合Lv。

6.根據(jù)權(quán)利要求4或5所述的動態(tài)目標(biāo)位姿信息優(yōu)化方法，其特征在于，所述基于單目相機(jī)的姿態(tài)角信息，對所述第二檢測線段集合Lv中的檢測線段進(jìn)行篩選，得到第三檢測線段集合Lvp，包括：

對單目相機(jī)的姿態(tài)角信息進(jìn)行采樣；

基于采樣得到的相機(jī)的姿態(tài)角信息，計算消失點(diǎn)；

基于消失點(diǎn)，從所述第二檢測線段集合Lv中查找形成消失點(diǎn)的檢測線段；

計算消失點(diǎn)與每一條檢測線段中點(diǎn)的角度；

基于角度閾值對檢測線段進(jìn)行篩選，得到篩選后的第三檢測線段集合Lvp。