[發明專利]基于CAD模型的物體位姿預測方法

在審

• 申請號: 201910947809.8
• 申請日: 2019-10-08
• 公開（公告）號: CN110706285A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 許狀男;王廣龍;刁俊岐;龐健
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/13;G06N3/04;G01C11/00;G01B11/24;G01B11/00
• 代理公司: 13128 石家莊輕拓知識產權代理事務所(普通合伙)
• 代理人: 王占華

1.一種基于CAD模型的物體位姿預測方法，其特征在于包括如下步驟：

通過標定獲取單目攝像頭的相關參數，并利用CAD模型生成粗匹配所需數據；

檢測識別圖像中的物體并輸出圖像的遮罩，通過物體的遮罩得到物體的相關輪廓信息；

通過物體的相關輪廓信息結合粗匹配數據得到物體的粗匹配位姿，然后通過迭代算法，得到物體的精確位姿。

2.如權利要求1所述的基于CAD模型的物體位姿預測方法，其特征在于，通過標定獲取單目攝像頭的相關參數的方法包括如下步驟：

構建相機成像模型：

M為三位空間點，m為M在圖像平面投影的像點，按照相機涉及的坐標系之間的關系可得到世界坐標系到像素坐標的投影：

可將(1)寫成(2)的形式

其中a_x，a_y分別是圖像水平軸和垂直軸的尺度因子；K為相機內部參數矩陣；M₁中包含旋轉矩陣和平移矢量，M₁中參數是由相機坐標系相對于世界坐標系的位置決定的，因此稱M₁為相機外部參數矩陣；內部參數和外部參數矩陣的乘積M為投影矩陣；X_W為世界坐標系中物體中心W所在的x軸坐標，Y_W為世界坐標系中物體中心W所在的y軸坐標，Z_W為世界坐標系中物體中心W所在的z軸坐標；

相機焦距為f所在軸為z正方向，x與y軸處在光心O所在平面，以光心O為相機坐標系原點，在此相機坐標系下則物體中心所在位置用W來表示，其中：

W＝(W_x,W_y,W_z) (3)

規定物體中心就是物體CAD模型中心所在位置，若P＝(u_,v)為物體對應像素在圖像上的坐標，K為相機內參矩陣，則可以得到此等式：

此等式表示實際物體中心所在位置W在相機坐標系下經過相機內參K后投影到圖像后的二維坐標位置P。

3.如權利要求1所述的基于CAD模型的物體位姿預測方法，其特征在于，利用CAD模型生成粗匹配數據的方法如下：

首先通過物體CAD模型在指定位姿下渲染出物體的遮罩，通過物體的遮罩得到物體的邊界框，而后根據不同的需要在邊界框上每隔一定距離對物體輪廓進行采樣；

以左邊界框長度L為基準，把L分為n等份，每隔L/n為一個采樣橫坐標點，遍歷每一個輪廓上的點在其橫坐標等于采樣橫坐標點時計算其到左邊框的距離，由于每個采樣橫坐標點可能對應多個輪廓采樣距離，所以取多個距離中的最大和最小值作為此采樣橫坐標上對輪廓采樣的采樣值，把輪廓信息變為成一組采樣值；

對采樣值進行歸一化，即把左邊界框長度統一到一個單位下；

在指定距離上，以物體CAD模型中心為中心，在不同的旋轉角度對物體的輪廓進行采樣，把輪廓采樣信息與相對應的位姿信息保存，得到物體的粗匹配的模板數據。

4.如權利要求1所述的基于CAD模型的物體位姿預測方法，其特征在于，所述檢測識別圖像中的物體并輸出圖像的遮罩的方法如下：

利用Mask-RCNN神經網絡進行圖像識別，輸出物體的類別與物體的遮罩。

5.如權利要求4所述的基于CAD模型的物體位姿預測方法，其特征在于，在訓練Mask-RCNN神經網絡時，利用blender以及Opencv軟件自動生成了數據集來訓練。