[發(fā)明專利]一種基于深度學習的目標檢測算法和點云配準算法的深度相機外參標定方法

在審

• 申請?zhí)枺?/td>: 202210473661.0
• 申請日: 2022-05-02
• 公開（公告）號: CN115115710A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設計）人: 李昊燃;劉想
• 申請（專利權）人: 南京起源躍動科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/33;G06V10/25;G06V10/82;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于深度學習的目標檢測算法和點云配準算法的深度相機外參標定方法，克服了現有技術外參標定標定物的獲取成本高、精度低、成功率低的問題。本發(fā)明要求至低使用至少3個中心對稱的任意不同形狀或色彩的標定圖像或標定物體，至低僅需一張紙作為標定物。本發(fā)明實施例表示該方法有著標定物獲取成本低、精度高、成功率高等優(yōu)點。

技術領域

本發(fā)明屬于計算機視覺與攝像機標定的技術領域，具體涉及一種基于深度學習的目標檢測算法和點云配準算法的深度相機外參標定方法。

背景技術

多相機的外參標定一直是計算機進入三維視覺的門檻，使用單個相機會存在較大的盲區(qū)，近年來，多相機的組合逐漸成為研究的熱點，其外參的標定急需提出精度更高、成功率更高、更低成本的方法。

現有的低成本多相機標定方法，通常是用棋盤格標定法，也叫張正友標定法，該方法是基于是1999年張正友在IEEE發(fā)表的論文《Flexible Camera Calibration By Viewinga Plane From Unknown Orientations》，該方法的原理是根據硬質板材棋盤格由于拍攝距離導致的的大小變化、拍攝角度導致的形變，逆向投影計算出相機所處的拍攝位置。為了更好的對應多相機各自視野中的棋盤格，現有的改進方法往往是采用帶有ArUco信息的棋盤格。棋盤格標定法通常需要標定板占據拍攝像素的1/2的區(qū)域才有較高的準確率，這樣的方法在大空間中，棋盤格遠離相機的情況下效果不佳，這是由于相機分辨率有限，難以清晰的辨別所有棋盤格的邊緣和視角形變，最終會導致誤差和成功率極低；同時由于棋盤格在實際中不是絕對剛體，棋盤格本身容易彎曲，也會導致誤差。由于以上三點原因，棋盤格標定法最終標定的精度較低，成功率也較低。

現有的高精度、高成功率標定方法往往要求定制特制的標定物，如申請?zhí)枮镃N107358633 A中的三點標定物、CN 113256611 A中的孔洞測試卡，標定物獲取的成本較高。

外參定標的核心是獲取多個相機的坐標、俯仰角、旋轉軸，相對于世界坐標系的位置，如圖1所示的相機坐標和相對世界坐標系的位置示意圖，具體為一個包含了平移和旋轉矢量的4x4矩陣：

發(fā)明內容

為了解決上述問題，本發(fā)明提供了一種方法，標定物的制作最低僅需要打印在A4紙上的若干個平面圖形。具有材料獲取成本極低、精度高、成功率高的特點。

本發(fā)明通過下述方法來解決上述問題，在本發(fā)明的步驟中，使用了n個深度相機和N個用于標定的平面圖形或標定物體：

前序操作：制作標定物，然后使用任意深度學習訓練模型對用于標定的平面圖形或標定物體進行訓練，圖2是程序正在進行深度學習的示例，事先拍攝若干張不同角度和光線的用于標定的平面圖形或標定物體的照片，由人工分別進行標注，經過該深度學習后，程序能夠準確識別出用于標定的平面圖形或標定物體。圖3 是程序識別的結果，圖中的數值是識別的置信度。將用于標定的平面圖形或標定物體放入所有深度相機的共同重合視野中。至此，前序準備工作完成；

步驟1：同時拍攝，由n個深度相機分別取得n幅RGB圖和n幅深度圖；

步驟2：合成PCD1，PCD2…PCD(n)將n幅深度圖合成點云；

步驟3：和步驟2并行，使用任意目標檢測算法分別找到n組RGB中的N個圖形，共找到nxN個圖形；

步驟4：和步驟2并行，和步驟3串行，分別取找到的n組共nxN個圖形的中點作為RGB關鍵點；

步驟5：在步驟4和步驟2之后，將RGB關鍵點分別對應PCD1、PCD2…PCD(n)中的n組N個關鍵點云；

步驟6：根據這n組N個兩兩對應的關鍵點云，使用對應N個點云的點云配準算法使其配準；

步驟7：定標完成，得到n-1個外參4X4矩陣。