[發(fā)明專利]一種多源相機系統(tǒng)及RGBD配準方法

有效

• 申請?zhí)枺?/td>: 202011461732.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112509023B
• 公開（公告）日: 2022-11-22
• 發(fā)明（設計）人: 嚴偉雄;楊謙;許屹;鄭星;華曉;張曉;汪勇;周偉紅;許潛航;楊永峰;黃炎階;段凌霄;何彬彬
• 申請（專利權）人: 國網(wǎng)浙江省電力有限公司衢州供電公司;北京隱山科技有限公司
• 主分類號: G06T7/35
• 分類號: G06T7/35;G06T7/70
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

1.一種多源相機系統(tǒng)，其特征是：包括RGB圖像采集模塊、深度圖像采集模塊以及上位機，所述RGB圖像采集模塊包括相連的RGB傳感器單元和第一數(shù)據(jù)傳輸單元，所述深度圖像采集模塊包括TOF傳感器單元、主動照明單元、處理器和第二數(shù)據(jù)傳輸單元，所述處理器分別與TOF傳感器單元、主動照明單元和第二數(shù)據(jù)傳輸單元相連，所述深度圖像采集模塊通過第二數(shù)據(jù)傳輸單元與上位機相連，所述RGB圖像采集模塊通過第一數(shù)據(jù)傳輸單元與上位機相連；

該多源相機系統(tǒng)可用于執(zhí)行如下一種多源相機系統(tǒng)的多源相機RGBD配準方法，包括以下步驟：

S1：同時采集多組標定板的RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)；

S2：利用張正友標定得到RGB相機的內(nèi)外參數(shù)；

S3：把得到的RGB相機的內(nèi)外參數(shù)作為輸入，進行初始化；

S4：將深度圖像轉(zhuǎn)換到2D平面，選擇ROI感興趣區(qū)域，獲得第一外參矩陣；

S5：對第一外參矩陣進行優(yōu)化得到第二外參矩陣；

S6：輸入需要配準的RGB圖像和深度圖像，利用第二外參矩陣得到渲染后的RGBD圖像。

2.根據(jù)權利要求1所述的一種多源相機系統(tǒng)，其特征是：所述主動照明單元包括TOF鏡頭、照明板、傳感器板和主控板，所述照明板、傳感器板和主控板相互通信，所述TOF鏡頭設置在照明板上，所述TOF傳感器單元設置在傳感器板上，所述處理器設置在主控制板上。

3.根據(jù)權利要求2所述的一種多源相機系統(tǒng)，其特征是：所述TOF鏡頭上設有紅外窄帶通濾波光片。

4.根據(jù)權利要求2所述的一種多源相機系統(tǒng)，其特征是：所述主動照明單元包括若干紅外光源，所述紅外光源設置在照明板上，紅外光源的出光方向與TOF鏡頭方向相同。

5.根據(jù)權利要求1所述的一種多源相機系統(tǒng)，其特征是：所述步驟S4包括以下步驟：

S41：將輸入的深度圖像的深度值轉(zhuǎn)換到給定的一組顏色，顯示出帶有色彩的二維平面圖；

S42：選擇需要配準的深度圖像距離范圍，過濾掉超出范圍的像素點；

S43：利用標記工具選擇感興趣區(qū)域，計算選定誤差值；

S44：對所有標定的感興趣區(qū)域計算得到深度圖像的內(nèi)外參數(shù)矩陣，即第一外參矩陣。

6.根據(jù)權利要求5所述的一種多源相機系統(tǒng)，其特征是：所述步驟S5中利用魯棒的總體最小二乘對第一外參矩陣進行優(yōu)化得到第二外參矩陣。

7.根據(jù)權利要求1所述的一種多源相機系統(tǒng)，其特征是：所述深度圖像通過以下步驟采集：

S01：所述主動照明單元發(fā)射連續(xù)波調(diào)制的紅外光；

S02：所述TOF傳感器單元通過TOF鏡頭和紅外窄帶通濾光片接收目標表面漫反射的光束；

S03：TOF傳感器單元通過計算發(fā)射光與反射光的時間差或相位差獲得場景原始深度相位數(shù)據(jù)。