[發明專利]基于參考平面的高精度物體多自由度姿態估計方法及系統

在審

• 申請號: 202010829992.4
• 申請日: 2020-08-18
• 公開（公告）號: CN111968180A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 裴成學
• 申請（專利權）人: 裴成學
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 嘉興啟帆專利代理事務所(普通合伙) 33253
• 代理人: 程開生

1.一種基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，用于多自由度地估計一物體，上述物體相對于預設的一參考平面設置，包括以下步驟：

步驟S1：由至少一成像設備實時成像并且實時輸出包含待多自由度姿態估計的上述物體的一信息流，上述物體相對于上述參考平面具有有限個穩定的多自由度狀態；

步驟S2：至少一存儲設備被事先預置或者被實時錄入上述物體和/或上述成像設備的至少一先驗知識信息；

步驟S3：根據所述先驗知識信息，結合預設的一關鍵點識別方法，實時獲取并且輸出上述物體相對于一攝像機坐標系的多自由度姿態。

2.根據權利要求1所述的基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，步驟S1具體實施為以下步驟：由至少一攝像頭實時成像并且實時輸出包括待多自由度姿態估計的上述物體的至少一圖片。

3.根據權利要求2所述的基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，步驟S2中，所述先驗知識信息藉由測量、標定，或向設備廠家索取，或查相應手冊方式獲得，所述先驗知識信息包括但不限于：

攝像頭內參數；

待多自由度姿態估計的上述物體的三維數模；

物體在狀態i下參考點到參考平面的距離，記為di1,di2,di3,…，i代表第i種穩定狀態,參考點可在物體上自由選取；

測量攝像頭光軸線與參考平面的夾角，記為θ；

當0θ90°時,測量攝像頭繞其光軸線旋轉的角度α，以攝像頭X軸與參考平面平行Y軸正方向在靠近上述參考平面一側時α＝0，沿著攝像頭的Z軸，右手法則，逆時針方向α為正，順時針方向α為負，當θ＝90°時，不需要測量α值；

測量攝像頭坐標系原點到參考平面的距離，記為hc。

4.根據權利要求3所述的基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，步驟S3具體實施為以下任一條步驟：實時生成上述物體相對于所述攝像頭的一攝像頭坐標系的一姿態，或者實時生成上述物體的至少一點相對于所述攝像頭的一攝像頭坐標系的至少一坐標。

5.根據權利要求4所述的基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，步驟S3中，所述關鍵點識別方法，具體實施為以下任一類步驟的集合：

步驟SP3.1：首先對物體進行目標檢測，輸入的是圖像，輸出的是目標位置，常用包含目標物的方框表示，用輸出的方框crop圖像，如果是多個目標，用padding統一尺寸后堆疊在一起形成一個batch送入關鍵點識別網絡；

步驟SP3.2：用diamondnet實現物體關鍵點識別；

步驟SP3.3：用各種pnp方法粗略估計物體姿態，目的是確定物體相對于參考平面處于哪種狀態；

步驟SP3.4：確認當前狀態i；或者：

步驟S3中，所述關鍵點識別方法，具體實施為以下步驟：

步驟SQ3.1：如果待檢測的物體種類為一種或幾種，且待識別的關鍵點數較少，藉由diamondnet加上關鍵點heatmap局部非極大值抑制以及關鍵點聚類的方法，同時實現關鍵點識別與物體檢測；

步驟SQ3.2：用各種pnp方法粗略估計物體姿態，目的是確定物體相對于參考平面處于哪種狀態；

步驟SQ3.3：確認當前狀態i；或者：

藉由現有的物體6d姿態估計方法確認物體處于哪種穩定狀態i；用關鍵點識別網絡識別出圖像上物體的關鍵點。

6.根據權利要求5所述的基于參考平面的高精度物體多自由度姿態估計方法，其特征在于，所述關鍵點識別方法，還包括以下步驟：

步驟SW3.1：藉由以上兩階段信息，計算出坐標軸axis_i上的典型點(0,0,0)，(s,0,0)，(0,s,0)，(0,0,s)，其中，s可取大于0的任意值，在攝像機圖像像素坐標系的二維坐標值及攝像機坐標系的三維坐標值；

步驟SW3.2：先求取axis_i坐標原點也就是axis_i坐標下(0,0,0)點在攝像機圖像像素坐標系的二維坐標值。