[發(fā)明專利]一種深度相機與可見光相機之間的外參標定方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011000616.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112132906B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 姜光;白子軒;徐艾玲;賈靜
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/73;G06T7/11
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 崔玥

1.一種深度相機與可見光相機之間的外參標定方法，其特征在于，所述外參標定方法應(yīng)用于雙相機系統(tǒng)，所述雙相機系統(tǒng)包括所述深度相機與所述可見光相機，所述深度相機與所述可見光相機之間的相對位姿固定，形成相機對，所述外參標定方法包括：

將棋盤格平面置于所述相機對的視野內(nèi)，并多次變換所述棋盤格平面的位姿；

拍攝不同變換位姿下的所述棋盤格平面，獲取不同變換位姿下所述棋盤格平面的深度圖像以及可見光圖像；

根據(jù)所述可見光圖像，確定可見光相機坐標系下不同變換位姿的可見光棋盤格平面；

根據(jù)所述深度圖像，確定深度相機坐標系下不同變換位姿的深度棋盤格平面；

根據(jù)所述可見光棋盤格平面以及所述深度棋盤格平面確定從所述深度相機坐標系到所述可見光相機坐標系的旋轉(zhuǎn)矩陣；

根據(jù)所述旋轉(zhuǎn)矩陣確定從所述深度相機坐標系到所述可見光相機坐標系的平移向量；

將所述深度相機坐標系按照所述旋轉(zhuǎn)矩陣以及所述平移向量進行旋轉(zhuǎn)和平移，使得所述深度相機坐標系與所述可見光相機坐標系重合，完成雙相機的外參標定。

2.根據(jù)權(quán)利要求1所述的深度相機與可見光相機之間的外參標定方法，其特征在于，所述根據(jù)所述可見光圖像，確定可見光相機坐標系下不同變換位姿的可見光棋盤格平面，具體包括：

利用張正友標定法對多張所述可見光圖像進行標定，獲取從每個變換位姿的棋盤坐標系變換到所述可見光相機坐標系的第一旋轉(zhuǎn)矩陣以及第一平移向量；

對于任一張所述可見光圖像，在所述棋盤坐標系下任取所述棋盤格表面上不共線的n個點；n≥3；

根據(jù)所述第一旋轉(zhuǎn)矩陣以及所述第一平移向量，將所述n個點變換至所述可見光坐標系，確定變換后的點；

根據(jù)所述變換后的點確定任一張所述可見光圖像的可見光棋盤格平面；

獲取所有的所述可見光圖像的可見光棋盤格平面，確定所述可見光相機坐標系下不同變換位姿的可見光棋盤格平面。

3.根據(jù)權(quán)利要求1所述的深度相機與可見光相機之間的外參標定方法，其特征在于，所述根據(jù)所述深度圖像，確定深度相機坐標系下不同變換位姿的深度棋盤格平面，具體包括：

將多張所述深度圖像轉(zhuǎn)換為所述深度相機坐標系下的多個三維點云；

對任一個所述三維點云進行分割，確定所述棋盤格平面對應(yīng)的點云平面；

利用平面擬合算法對所述點云平面進行擬合，確定任一個所述三維點云的深度棋盤格平面；

獲取所有的所述三維點云的深度棋盤格平面，確定所述深度相機坐標系下不同變換位姿的深度棋盤格平面。

4.根據(jù)權(quán)利要求1所述的深度相機與可見光相機之間的外參標定方法，其特征在于，所述根據(jù)所述可見光棋盤格平面以及所述深度棋盤格平面確定從所述深度相機坐標系到所述可見光相機坐標系的旋轉(zhuǎn)矩陣，具體包括：

基于所述可見光棋盤格平面以及所述深度棋盤格平面，確定所述可見光棋盤格平面對應(yīng)的可見光平面法向量以及所述深度棋盤格平面對應(yīng)的深度平面法向量；

分別對所述可見光平面法向量以及所述深度平面法向量進行歸一化處理，確定可見光單位法向量以及深度單位法向量；

根據(jù)所述可見光單位法向量以及所述深度單位法向量確定旋轉(zhuǎn)矩陣。

5.根據(jù)權(quán)利要求4所述的深度相機與可見光相機之間的外參標定方法，其特征在于，所述根據(jù)所述旋轉(zhuǎn)矩陣確定從所述深度相機坐標系到所述可見光相機坐標系的平移向量，具體包括：

從所有所述棋盤格平面的變換位姿中選取兩兩不平行，且相互之間具有角度的3個變換位姿，并獲取3個變換位姿下，對應(yīng)的3個所述可見光棋盤格平面以及3個所述深度棋盤格平面；

獲取3個所述可見光棋盤格平面的可見光交點以及3個所述深度棋盤格平面的深度交點；

根據(jù)所述可見光交點、所述深度交點以及所述旋轉(zhuǎn)矩陣確定從所述深度相機坐標系到所述可見光相機坐標系的平移向量。