[發(fā)明專利]基于圖像配準的激光雷達與相機標定參數(shù)校正方法及裝置

有效

• 申請?zhí)枺?/td>: 202010936777.4
• 申請日: 2020-09-08
• 公開（公告）號: CN112233184B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設計）人: 殷國棟;彭湃;徐利偉;莊偉超;耿可可;王金湘;張寧;陳建松;祝小元
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/70
• 代理公司: 北京德崇智捷知識產(chǎn)權代理有限公司 11467
• 代理人: 王斌

1.一種基于圖像配準的激光雷達與相機標定參數(shù)校正方法，其特征在于，所述方法包括：

在完成相機和激光雷達之間的標定參數(shù)的標定后，根據(jù)預定場景獲取基準相機圖像和基準點云投影圖，所述基準點云投影圖是根據(jù)所述基準相機圖像和所述標定參數(shù)得到的，所述標定參數(shù)包括內(nèi)參矩陣和外參矩陣；

檢測所述相機和所述激光雷達之間的相對姿態(tài)是否發(fā)生了變化；

若所述相對姿態(tài)發(fā)生了變化，則根據(jù)所述基準相機圖像和所述基準點云投影圖配準得到的單應性矩陣校正所述標定參數(shù)；

所述根據(jù)預定場景獲取基準相機圖像和基準點云投影圖，包括：通過所述相機對所述預定場景進行拍攝，得到所述基準相機圖像；通過所述激光雷達針對所述預定場景生成基準點云數(shù)據(jù)；根據(jù)所述基準相機圖像、所述基準點云數(shù)據(jù)和所述標定參數(shù)生成所述基準點云投影圖；

所述根據(jù)所述基準相機圖像和所述基準點云投影圖配準得到的單應性矩陣校正所述標定參數(shù)，包括：通過所述相機對所述預定場景進行拍攝，得到待校正圖像；根據(jù)所述基準相機圖像、所述待校正圖像和所述基準點云投影圖生成變換后的點云投影圖；根據(jù)待校正點云投影圖和所述變換后的點云投影圖校正所述標定參數(shù)；

所述根據(jù)所述基準相機圖像、所述待校正圖像和所述基準點云投影圖生成變換后的點云投影圖，包括：對所述基準相機圖像和所述待校正圖像進行配準，得到所述基準相機圖像到所述待校正圖像的第一單應性矩陣；根據(jù)所述第一單應性矩陣對所述基準點云投影圖進行透視變換，得到所述變換后的點云投影圖；

所述根據(jù)待校正點云投影圖和所述變換后的點云投影圖校正所述標定參數(shù)，包括：對所述待校正點云投影圖和所述變換后的點云投影圖進行配準，得到所述待校正點云投影圖到所述變換后的點云投影圖的第二單應性矩陣；將所述第二單應性矩陣、所述內(nèi)參矩陣和所述外參矩陣相乘，得到校正后的標定參數(shù)。

2.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述基準相機圖像、所述基準點云數(shù)據(jù)和所述標定參數(shù)生成所述基準點云投影圖，包括：

將所述基準相機圖像、所述基準點云數(shù)據(jù)和所述標定參數(shù)輸入第一公式和第二公式，得到所述基準點云投影圖；

所述第一公式為所述第二公式為其中，(X Y Z)是所述基準點云數(shù)據(jù)中一個數(shù)據(jù)點的坐標，I是所述數(shù)據(jù)點的反射率，(x y z)是(X Y Z)在相機坐標系下對應的數(shù)據(jù)點的坐標，(u v)是(X Y Z)在像素坐標系下對應像素點的像素坐標，是所述內(nèi)參矩陣，是所述外參矩陣，z是相機坐標系下所述數(shù)據(jù)點的深度。

3.根據(jù)權利要求2所述的方法，其特征在于，所述方法還包括：

根據(jù)每個數(shù)據(jù)點的深度對所述數(shù)據(jù)點對應的像素點的像素值進行填充，利用顏色空間對填充的所述像素值進行映射，得到所述基準點云投影圖；或者，

將每個數(shù)據(jù)點在相機坐標系下的坐標輸入第三公式，根據(jù)得到的計算結果對所述數(shù)據(jù)點對應的像素點的像素值進行填充，利用顏色空間對填充的所述像素值進行映射，得到所述基準點云投影圖，所述第三公式為或者，

獲取每個數(shù)據(jù)點的反射率值，根據(jù)每個數(shù)據(jù)點的反射率值對所述數(shù)據(jù)點對應的像素點的像素值進行填充，利用顏色空間對填充的所述像素值進行映射，得到所述基準點云投影圖。

4.根據(jù)權利要求1所述的方法，其特征在于，所述預定場景中包含預定數(shù)量的對象。

5.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

對所述相機的位置進行調(diào)整，調(diào)整后的所述相機拍攝所述預定場景得到的所述待校正圖像與所述基準相機圖像的相似度超過預定閾值。

6.一種基于圖像配準的激光雷達與相機標定參數(shù)校正裝置，其特征在于，所述裝置包括：

獲取模塊，用于在完成相機和激光雷達之間的標定參數(shù)的標定后，根據(jù)預定場景獲取基準相機圖像和基準點云投影圖，所述基準點云投影圖是根據(jù)所述基準相機圖像計算得到的，所述標定參數(shù)包括內(nèi)參矩陣和外參矩陣；

檢測模塊，用于檢測所述相機和所述激光雷達之間的相對姿態(tài)是否變化；

校正模塊，用于若所述相對姿態(tài)發(fā)生變化，則根據(jù)所述基準相機圖像和所述基準點云投影圖配準得到的單應性矩陣校正所述標定參數(shù)；

所述獲取模塊，還用于：通過所述相機對所述預定場景進行拍攝，得到所述基準相機圖像；通過所述激光雷達針對所述預定場景生成基準點云數(shù)據(jù)；根據(jù)所述基準相機圖像、所述基準點云數(shù)據(jù)和所述標定參數(shù)生成所述基準點云投影圖；

所述校正模塊，還用于：通過所述相機對所述預定場景進行拍攝，得到待校正圖像；根據(jù)所述基準相機圖像、所述待校正圖像和所述基準點云投影圖生成變換后的點云投影圖；根據(jù)待校正點云投影圖和所述變換后的點云投影圖校正所述標定參數(shù)；

所述校正模塊，還用于：對所述基準相機圖像和所述待校正圖像進行配準，得到所述基準相機圖像到所述待校正圖像的第一單應性矩陣；根據(jù)所述第一單應性矩陣對所述基準點云投影圖進行透視變換，得到所述變換后的點云投影圖；

所述校正模塊，還用于：對所述待校正點云投影圖和所述變換后的點云投影圖進行配準，得到所述待校正點云投影圖到所述變換后的點云投影圖的第二單應性矩陣；將所述第二單應性矩陣、所述內(nèi)參矩陣和所述外參矩陣相乘，得到校正后的標定參數(shù)。