[發明專利]一種可見光與紅外雙光相機旋轉矩陣自動校準方法

有效

• 申請號: 202110197176.0
• 申請日: 2021-02-22
• 公開（公告）號: CN112907680B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 李帥;林宇;趙宇迪
• 申請（專利權）人: 上海數川數據科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06V40/16
• 代理公司: 宿遷市永泰睿博知識產權代理事務所(普通合伙) 32264
• 代理人: 倉定平

1.一種可見光與紅外雙光相機旋轉矩陣自動校準方法，其特征在于：其具體實現流程如下：

步驟一、標定可見光相機與紅外相機的焦距；

步驟二、可見光相機到紅外相機旋轉矩陣的初始化：假設雙目相機在裝備過程中不存在誤差，那么對于裝備完成的雙目相機設備，在世界坐標系中，可見光相機與紅外相機在水平x、縱向z方向上坐標相同，僅在垂直方向y上存在差值，相機光軸平行且朝向相同，因此紅外相機對于可見光相機在x、z方向上偏移量為0，在y方向的偏移量通過測量可得，其光軸在x、y、z三個方向上的相對偏角均為0；

基于雙目相機在x、y、z三個方向的相對角度，經過羅德里格斯變換，可以得到紅外相機相對于可見光相機的旋轉矩陣，記為R，如下：

由紅外相機在x、y、z方向上坐標的偏移量，可得到平移矩陣，記為T，[t₀,t₁,t₂]^T，同時結合R、T可得初始化的齊次RT矩陣，如下：

步驟三、可見光相機對每一幀進行人臉檢測，如果檢測出人臉框，則將當前幀的全部人臉框坐標、以及當前幀的時間信息打包發送給紅外相機；

步驟四、人臉運動狀態判斷與可見光相機人臉框坐標轉換；所述步驟四中人臉運動狀態判斷如下：紅外相機接收可見光相機發送過來的每一幀人臉框坐標和幀時間包，并保持最新的三幀內容，根據最新三幀的可見光人臉框坐標與RT矩陣，計算出可見光相機中人臉框在紅外相機坐標系中的坐標；在可見光相機人臉框轉換坐標后的基礎上，計算每一個人臉的在三幀圖像上兩兩人臉框之間的iou，如果其中最大值小于設定閾值，則認為人臉為靜止狀態，否則，認為人臉為運動狀態，并將該人臉相應的框坐標去掉；對于判定為靜止的人臉，對三幀上的框坐標取平均，作為該人臉的坐標，記為Vb；

所述步驟四中計算出可見光相機中人臉框在紅外相機坐標系中的坐標，可見光相機人臉框坐標轉換過程如下：

1)將可見光人臉檢測框轉換為中心點坐標與寬和高的形式，根據三角形相似性原理，用實際人臉寬度、人臉框像素寬度和可見光焦距，可以求得人臉在可見光相機坐標系中z方向的坐標，記為z₀；

2)構建人臉框的像素坐標乘以z₀的矩陣，并用該矩陣乘以可見光相機焦距矩陣的逆矩陣，得到可見光相機坐標系中的三維人臉坐標，記為C_v；

3)將C_v乘以旋轉矩陣RT，得到紅外相機坐標系中三維人臉坐標，記為C_h；

將C_h乘以紅外相機的焦距矩陣，并做歸一化，即可得到人臉在紅外相機中的像素坐標；

步驟五、可見光轉換人臉框與紅外人臉框的人臉匹配；

所述步驟五中從紅外相機中獲取當前幀的人臉檢測框，如果紅外相機當前幀的時間與接收自可見光相機最新幀的時間小于設定時間，則進行人臉匹配，分別將紅外視頻幀與可見光視頻幀中的人臉坐標框Vb的寬和高向外擴大0.3倍，以增加同一人臉在兩個相機中的檢測框產生部分重疊的幾率；計算紅外幀中人臉框與Vb的iou矩陣，在該iou矩陣中，挑選出紅外人臉框與Vb中僅和對方中的一個框的iou大于零的人臉框對，該人臉框對即為同一人臉在紅外相機和可將光相機中檢測框；

步驟六、計算人臉框對的匹配誤差，并反向修正旋轉矩陣：計算全部的人臉框對的iou誤差，相加作為總誤差：

1)計算出來的總誤差是否同時滿足小于設定的誤差閾值，且小于歷史最小誤差+0.05，如果滿足條件，則不進行R矩陣更新，否則，進行反向梯度計算，得到總誤差在R矩陣上的梯度值R_grad；

2)根據誤差大小計算學習率，誤差越大學習率相對越大，反之，學習率較小，將計算的學習率與設定的學習率比較，取其中較大者，記為lr，然后對R矩陣，根據公式R＝R-R_grad*lr進行更新；

3)接著判斷更新次數是否達到本輪更新的最大值，若小于等于最大值，則根據誤差判斷是否需要進一步重復1)步驟，反之，則停止更新。

2.根據權利要求1所述的一種可見光與紅外雙光相機旋轉矩陣自動校準方法，其特征在于：所述步驟一中打印有棋盤格的標定板，用可見光相機在不同距離、不同角度拍攝該標定板，拍攝圖片20-30張左右，使用張正友棋盤格標定法獲得可見光相機的焦距；對于紅外相機，使用塑料材質的白色洞洞板，放置在平面熱源上，使用紅外相機以同樣方法拍攝該洞洞板，對拍攝圖片取反色，使得洞洞區域為黑色，板子對應為白色，使用張正友棋盤格標定法獲取紅外相機的焦距。