[發明專利]一種基于深度相機的6D數據集構建方法

在審

• 申請號: 202110871267.8
• 申請日: 2021-07-30
• 公開（公告）號: CN113920191A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 田昊;趙霞;于重重;胡心雨;陳嘉倫
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T17/00
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 賈曉玲

1.一種基于深度相機的6D數據集構建方法，其特征在于：

步驟1：數據的采集：

采用深度相機Kinect 2.0，采集得到空間坐標系不一樣的圖像數據集；

步驟2：數據的標定：

采用張正友棋盤標定法，以棋盤中心為世界坐標系的原點，網格線作為坐標系的X軸和Y軸，由于棋盤是一個平面，所以棋盤上的所有點Z軸方向上的值都為0，棋盤上每個柵格交點都作為一個特征點，由這些特征點進行標記得到標定的結果，標定過程中僅對相機的內參及其畸變系數進行標定；

步驟3：構建用于數據采集的平臺，通過構建ROS系統并采用libfreenect2作為Kinect2.0相機的驅動，使用IAI_Kinect2功能包作為與Libfreenect2驅動連接的接口，實現Kinect 2.0數據采集，具體實現步驟如下：

3.1運行roscore的節點管理器；

3.2運行kinect2_bridge接口，kinect2_bridge用于提供Libfreenect2與ROS系統的接口，通過命令“roslaunch kinect2_bridge kinect2_bridge.launch depth_method:＝opengl reg_method:＝cpu”連接Kinect 2.0相機；

3.3運行kinect2_viewer圖像顯示的工具，通過命令“rosrun kinect2_viewerkinect2_viewer”顯示采集得到RGBD圖及點云圖；

3.4運行rgbd_ros_to_lcm進行數據傳輸，通過運行命令“roslaunch rgbd_ros_to_lcmlcm_republisher.launch”將上一步中獲取的數據傳送到LCM通道；

3.5運行lcm-logger進行數據存數，通過lcm-logger命令將RGBD數據保存為LCM格式，該數據與數據標注LabelFusion管道兼容；生成RGBD數據的真實標簽；

步驟4：物體三維模型：

采用3DMAX軟件中內置模型和二維線條進行建模，通過使用標準幾何圖形中的常規模型和擴展幾何圖形中的異面體模型作為基本體進行組合得到復雜的模型，同時針對點、線、多邊形等對象，配合擠壓、倒角、旋轉等操作讓二維圖形呈現出三維效果；

步驟5：物體三維重建：

通過傳感器獲取到三維的場景信息，采用三維重建方法ElasticFusion進行場景復原；

步驟6：6D數據集構建

通過標記結果將目標物體重新投影到三維場景中得到物體的位姿數據，為RGBD圖像生成標簽，將所得標簽數據進行數據轉換得到6D位姿數據集。

2.如權利要求1所述的6D數據集構建方法，其特征在于：步驟5具體包括：

5.1數據采集，通過Kinect 2.0相機采集RGB圖和深度圖，將其轉化為點云數據，并計算法向量；

5.2ICP點云匹配，將當前幀的點云與模型投影得到的預測點云數據進行配準，利用ICP算法計算位姿，得到當前點云的變換矩陣；

5.3回環檢測，進行全局回環檢測，檢測是否存在回環，若存在，對已重建模型和位姿參數進行優化；若不存在，檢測是否存在局部回環，再進行參數優化；

5.4點云融合，根據上一步中配準得到的矩陣，使用OpenGL將當前幀的點云融合到全局模型中，得到新的預測點云，并用于下一幀點云的配準。

3.如權利要求1所述的6D數據集構建方法，其特征在于：步驟6中采用手動標記和ICP匹配相結合的方法，使用ICP匹配方法將物體三維模型映射到三維場景中得到物體的位姿數據，所述ICP匹配方法，具體為找到目標物體的點云參數和參考點云之間的變換參數。先給定兩組數據S和M，其中S是源點云集，M是帶配準目標的點集，通過旋轉參數R和平移參數t，將M點集向S集靠近，得到M和S的位置，通過誤差函數計算出最優參數，其誤差函數如式(1)所示，

式中m_i是通過遍歷M中的坐標點得到的點組，在S中搜索M的對應點構成的配對點集，這些對應的點需要通過距離閾值來進行調整，大于的為誤配對組，是移除誤配對之后的點組數，當均方誤差小于設定值時，配準結束。