[發明專利]用于精確圖像融合的多模態成像傳感器校準方法

在審

• 申請號: 201880094945.0
• 申請日: 2018-06-29
• 公開（公告）號: CN112655023A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 陳鴻群;唐志鴻
• 申請（專利權）人: 物流及供應鏈多元技術研發中心有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/50;G06T3/40
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種校準具有不同模態的多個數字成像傳感器以用于圖像融合的方法，包括以下步驟：

用一個或多個內部參數校準由相應的數字成像傳感器生成的每個數字圖像；

以一縮放比率縮放每個數字圖像以生成具有重疊的感興趣區域的縮放的數字圖像；

交叉參考一個或多個縮放的數字圖像以導出一個或多個外部參數；

用所述外部參數校準每個數字成像傳感器；以及

變換和校正每個數字圖像，使得每個數字圖像的所述感興趣區域共面并對準。

2.根據權利要求1所述的方法，還包括將一數字成像傳感器設置為參考傳感器并將由所述參考傳感器生成的數字圖像設置為參考圖像的步驟。

3.根據權利要求1所述的方法，其中，所述多個數字成像傳感器中的每一個被放置在對象前方不同距離處或不同觀察視角處。

4.根據權利要求3所述的方法，其中，所述多個數字成像傳感器中的每一個適于捕獲所述對象的多個數字圖像。

5.根據權利要求2所述的方法，還包括獲得每個數字成像傳感器的所述內部參數的步驟。

6.根據權利要求5所述的方法，其中，所述內部參數包括所述透鏡的焦距、光學中心的位置和透鏡畸變中的一個或多個。

7.根據權利要求6所述的方法，其中由相應的數字成像傳感器生成的每個數字圖像的所述縮放比率等于或基本上等于所述參考傳感器與所述相應的數字圖像傳感器之間的焦距的比。

8.根據權利要求7所述的方法，其中，通過比較所述縮放的數字圖像中的每一個來獲得所述外部參數。

9.根據權利要求8所述的方法，其中，所述外部參數包括所述對象的深度、傳感器角度、相對距離中的一個或多個。

10.根據權利要求2所述的方法，其中，所述校正步驟包括使用所述外部參數并利用從所述參考相機獲得的所述圖像成對地從每個數字成像傳感器進行獲取的步驟。

11.根據權利要求10所述的方法，其中，所述校正步驟包括分別利用變換矩陣{T_i}與{T_ri}并且以成對的方式對每個數字圖像的圖像矩陣{I_i}和所述參考圖像的圖像矩陣{I_r}進行變換的步驟，其中，每對圖像擁有一對變換矩陣{T_i}與{T_ri}，并且使得多對數字圖像以共面的方式被對準。

12.根據權利要求11所述的方法，其中，利用變換矩陣{T_ri^-1T_i}對每個數字圖像的圖像矩陣{I_i}進行變換，使得所有變換后的圖像在同一平面上被對準。

13.根據權利要求1所述的方法，其中所述數字成像傳感器包括RGB相機、紅外輻射相機和深度相機中的一個。

14.一種用于校準模態圖像融合的處理器，包括：

參考數字圖像傳感器，具有參考模態特征；

一個或多個數字圖像傳感器，其中每個數字圖像傳感器具有與所述參考模態特征不同的模態特征；

自校準處理單元，用于利用傳感器的內部參數校準從所述傳感器生成的數字圖像，并且縮放所述數字圖像以獲得重疊的感興趣區域；以及

多模態成像傳感器校準和融合單元，用于從所述自校準處理單元接收所述縮放的圖像；

其中，所述多模態成像傳感器校準和融合單元適于交叉參考所述縮放的數字圖像以導出一個或多個外部參數；用所述外部參數校準每個數字成像傳感器；并對每個數字圖像進行變換和校正，

使得每個數字圖像的所述感興趣區域共面并對準。