[發明專利]基于多維語義映射RGBD多相機標定方法、系統及應用

在審

• 申請號: 202010634136.3
• 申請日: 2020-07-04
• 公開（公告）號: CN112001926A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 李靜;謝宇光;陳碩;李聰聰;盧朝陽
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/13;G06T7/70;G06T7/80;G06F17/16
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

1.一種基于多維語義映射RGBD多相機標定方法，其特征在于，所述基于多維語義映射RGBD多相機標定方法包括：

采用硬同步觸發機制同步獲取多路RGBD相機同一時鐘下彩色圖像數據和深度圖像數據；

基于二維碼與光束平差法的RGBD多相機初始標定，在所有RGBD相機共視區域拍攝一張二維碼標定板圖像；在獲取的標定圖像上，先后做二維碼檢測、直接線性變換、光束平差算法來得到RGBD多相機之間的初始位姿；

基于多維語義映射的迭代最近點ICP算法，在得到的RGBD相機之間的初始位姿基礎上，關聯二維彩色圖語義信息與三維深度空間信息，得到相鄰相機之間的空間點重疊區域；在相鄰相機之間重疊區域的基礎上，采用ICP算法得到RGBD多相機之間的精確位姿。

2.如權利要求1所述的基于多維語義映射RGBD多相機標定方法，其特征在于，所述基于多維語義映射RGBD多相機標定方法還包括：

步驟一，使用同步觸發線來同步RGBD多相機的時鐘，同步拍攝放置在相機共視區域的標定板彩色圖像，將獲取的彩色圖像做灰度變換處理，并利用自適應閾值方式對圖像進行分割，利用Suzuki算法對分割后的圖像進行輪廓提取，并通過Douglas-Peucker算法選取輪廓近似為四邊形的最外圍四邊形；對提取后的四邊形做仿射變換，并根據其信息得到彩色圖像中二維碼的角點位置以及ID信息；

步驟二，求解RGBD多相機之間的初始位姿，二維碼標定在世界坐標系下的位置為點p_i(i＝1，…，N)，對應在彩色圖像上像素坐標系中的位置為(u_i，v_i)(i＝1，…，N)，使用DLT算法構建方程來求解相機的位姿；

步驟三，全局優化求解RGBD多相機之間的位姿關系，在步驟二得到的相機之間位姿基礎，并結合世界坐標系下的三維點P_i(i＝1，…，N)以及對應的像素坐標旋轉和平移的增廣矩陣的李代數表示為ξ，對應的世界坐標到像素標定的表達式為h，使用光束平差法構建代價函數，全局優化RGBD多相機之間的位姿；

步驟四，根據二維語義信息和三維空間信息構建相鄰相機之間空間重疊點云；

步驟五，對步驟四得到的重疊點云做預處理操作；

步驟六，對相鄰相機點云做配準處理來精確求解出RGBD多相機之間位姿關系。

3.如權利要求2所述的基于多維語義映射RGBD多相機標定方法，其特征在于，所述步驟二使用DLT算法構建方程來求解相機的位姿，其中方程的表示形式為：

在求解相機之間位姿過程中，求解旋轉和變換矩陣構成的增廣矩陣，總共包含12個未知數；采集至少6對三維點與二維點的對應點，使用SVD法來對方程求解，得到RGBD相機之間的位姿關系。

4.如權利要求2所述的基于多維語義映射RGBD多相機標定方法，其特征在于，所述步驟三構建的代價函數為：