[發明專利]一種多源相機系統及RGBD配準方法

有效

• 申請號: 202011461732.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112509023B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 嚴偉雄;楊謙;許屹;鄭星;華曉;張曉;汪勇;周偉紅;許潛航;楊永峰;黃炎階;段凌霄;何彬彬
• 申請（專利權）人: 國網浙江省電力有限公司衢州供電公司;北京隱山科技有限公司
• 主分類號: G06T7/35
• 分類號: G06T7/35;G06T7/70
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏

本發明涉及一種多源相機系統及RGBD配準方法，系統包括RGB圖像采集模塊、深度圖像采集模塊以及上位機，深度圖像采集模塊與上位機相連，RGB圖像采集模塊與上位機相連；方法包括采集多組標定板的RGB圖像數據和深度圖像數據；得到RGB相機的內外參數；把得到的RGB圖像的內外參數作為輸入，進行初始化；將深度圖像轉換到2D平面，選擇ROI感興趣區域，獲得第一外參矩陣；對第一外參矩陣進行優化得到第二階段的外參矩陣；輸入需要配準的RGB圖像和深度圖像，利用第二外參矩陣得到渲染后的RGBD圖像。本發明的優點是：使用靈活；深度圖像采集模塊結構簡單，成本低，能夠快速獲取深度圖像；RGB圖像與深度圖像的配準速度快、精度高。

技術領域

本發明涉及圖像采集領域，尤其涉及一種多源相機系統及RGBD配準方法。

背景技術

隨著機器人導航、汽車自動駕駛以及虛擬現實等新興技術的廣泛應用，深度信息成像的優勢日益突出。傳統的二維成像通過透視投影變換將立體場景映射到二維平面，這種低維映射導致場景的深度信息丟失。而傳統的紅外深度圖像則會導致場景的顏色信息丟失，不論是單獨的傳統的二維成像圖像或是單獨的紅外深度圖像均無法滿足三維重建、增強現實、虛擬現實、人機交互等領域對RGB信息和深度信息的需求，因此結合了depth深度信息和RGB圖像信息的RGBD數據是不可或缺的，而RGBD數據的獲取首先要解決深度傳感器和RGB傳感器之間的精確標定問題。

發明內容

本發明主要解決現有RGBD成像裝置結構復雜，深度信息與RGB信息配準精度低的問題，提供了一種使用靈活、結構簡單、深度信息與RGB信息配準精度高的多源相機系統及RGBD配準方法。

本發明解決其技術問題所采用的技術方案是，一種多源相機系統，包括RGB圖像采集模塊、深度圖像采集模塊以及上位機，所述RGB圖像采集模塊包括相連的RGB傳感器單元和第一數據傳輸單元，所述深度圖像采集模塊包括TOF傳感器單元、主動照明單元、處理器和第二數據傳輸單元，所述處理器分別與TOF傳感器單元、主動照明單元和第二數據傳輸單元相連，所述深度圖像采集模塊通過與上位機相連，所述RGB圖像采集模塊通過第一數據傳輸單元與上位機相連。

RGB圖像采集模塊用于采集RGB圖像；深度圖像采集模塊采用主動式深度測量方法，用于采集深度相位數據；上位機用于給各采集模塊發送操控指令，以及完成深度圖像解算、圖像配準計算和數據存儲。

作為上述方案的一種優選方案，所述主動照明單元包括TOF鏡頭、照明板、傳感器板和主控板，所述照明板、傳感器板和主控板相互通信，所述TOF鏡頭設置在照明板上，所述TOF傳感器單元設置在傳感器板上，所述處理器設置在主控板上。

作為上述方案的一種優選方案，所述TOF鏡頭上設有紅外窄帶通濾波光片。主動照明單元發射一束調制的紅外光，經過目標表面漫反射后，反射光經過焦距固定的集成紅外窄帶通濾光片的鏡頭，最終被TOF傳感器單元捕獲，通過獲取發射光與反射光的時間差或者相位差，計算目標與深度相機之間的距離。

作為上述方案的一種優選方案，所述主動照明單元包括若干紅外光源，所述紅外光源設置在照明板上，紅外光源的出光方向與TOF鏡頭方向相同。

對應的，本發明還提供一種多源相機RGBD配準方法，用于上述多源相機系統，包括以下步驟：

S1：同時采集多組標定板的RGB圖像數據和深度圖像數據；

S2：利用張正友標定得到RGB相機的內外參數；

S3：把得到的RGB相機的內外參數作為輸入，進行初始化；

S4：將深度圖像轉換到2D平面，選擇ROI感興趣區域，獲得第一外參矩陣；

S5：對第一外參矩陣進行優化得到第二階段的外參矩陣；

S6：輸入需要配準的RGB圖像和深度圖像，利用第二外參矩陣得到渲染后的RGBD圖像。