[發明專利]基于多鏡頭傳感器的圖像融合方法

有效

• 申請號: 201710531032.8
• 申請日: 2017-07-01
• 公開（公告）號: CN107492069B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 顧天雄;黃曉明;曹炯;江炯;汪從敏;何玉濤;張平;程國開;張建;黎天翔
• 申請（專利權）人: 國網浙江省電力公司寧波供電公司;國家電網公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 項軍

1.基于多傳感器的圖像融合方法，所述多傳感器包括拍攝中心軸線以相同角度傾斜固定在拍攝平面上的至少四個傾斜傳感器，以及位于傾斜傳感器中央、且拍攝中心軸線垂直于拍攝平面的垂直傳感器，其特征在于，所述圖像融合方法，包括：

基于多傳感器對目標物體進行拍攝，獲取到與多傳感器數量相同的多幅圖像；

根據多傳感器的相對位置關系，構建用于將多幅圖像中的圖像信息向空間信息轉換的坐標參數，根據坐標參數完成將多幅圖像中目標物體上的像點從平面空間向三維空間坐標轉換得到轉換后圖像，還需要對得到的結果進行精度調整；

從轉換后圖像中提取多幅影像的同名特征點，根據經典共線方程、多傳感器內方位元素以及特征點的屬性值提取所述目標物體的輪廓信息；

根據所述輪廓信息將所述多幅圖像進行拼接，得到相對于所述目標物體拼接后的圖像；

其中，所述還需要對得到的結果進行精度調整，包括：

利用同名點經區域網光束法平差相對定向，再通過控制點整體區域網平差絕對定向，獲得高精度的定姿和定向元素；

多視影像聯合平差需充分考慮影像間的幾何變形和遮擋關系；

結合地面控制點系統提供的多視影像外方位元素，采取由粗到精的金字塔匹配策略在每級影像上進行同名點自動匹配和自由網光束法平差，得到較好的同名點匹配結果；

同時建立連接點和連接線、控制點坐標、GPS/IMU輔助數據的多視影像自檢校區域網平差的誤差方程，通過聯合解算，確保平差結果的精度。

2.根據權利要求1所述的基于多傳感器的圖像融合方法，其特征在于，所述圖像融合方法，包括：

構建基準坐標系S-XYZ、與獲取到的多幅圖像對應的像空間坐標系S1-xyz、像空間輔助坐標系S1-XYZ，在所述像空間坐標系S1-xyz、像空間輔助坐標系S1-XYZ之間存在比例縮放因子λ。

3.根據權利要求2所述的基于多傳感器的圖像融合方法，其特征在于，所述根據多傳感器的相對位置關系，構建用于將多幅圖像中的圖像信息向空間信息轉換的坐標參數，包括：

步驟一，目標物體上選取任一點A，所述點A在基準坐標系S-XYZ中的坐標為(X、Y、Z)；

步驟二，令點A在像空間坐標系S1-xyz中的坐標為a₁₀(x₁、y₁、-f₁)，點A在像空間輔助坐標系S1-XYZ中的坐標為(x₁₀、y₁₀、-f₁₀)；

步驟三，對目標物體上的全部像素點進行如步驟一至步驟二的處理，獲取處理后由像空間輔助坐標系S1-XYZ中坐標值構成的轉換后的圖像；

其中，從基準坐標系依次向像空間坐標系S1-xyz、像空間輔助坐標系S1-XYZ進行轉換的表達式如公式(1)所示

其中，λ₁為基準坐標系向像空間坐標系S1-xyz進行轉換時的比例縮放因子，λ₂為基準坐標系向像空間輔助坐標系S1-XYZ進行轉換時的比例縮放因子。

4.根據權利要求1所述的基于多傳感器的圖像融合方法，其特征在于，所述從轉換后的圖像中提取多幅影像的同名特征點，根據經典共線方程、多傳感器內方位元素以及特征點的屬性值自動提取所述目標物體的輪廓信息，包括：

對所述轉換后的圖像進行掃描，根據掃描結果確定與所述轉換后的圖像相匹配的顏色反差像素閾值，在所述轉換后的圖像上提取像素值高于所述顏色反差像素閾值的特征點；

提取每個特征點的屬性值，根據屬性值確定所述特征點在所述目標物體上所處的區域，根據預設參數集對不同區域賦予權值；

根據權值對每個區域進行平面掃描分割，確定每個區域所處的側面結構，完成重構；

根據重構的結果，規劃出目標物體與外界環境的分界線，提取目標物體的輪廓信息。

5.根據權利要求1所述的基于多傳感器的圖像融合方法，其特征在于，所述根據所述輪廓信息將所述多幅圖像進行拼接，得到相對于所述目標物體拼接后的圖像，包括：

選取多幅圖像中相鄰的兩幅圖像，在選取的兩幅圖像中選取特征信息，在特征信息中提取同名像點，結合多傳感器精確的內定向信息、通過控制點整體區域網平差絕對定向，獲得多傳感器高精度的絕對姿態信息和定向元素；

提取等效水平拼接影像間連接點及單航帶內定向點；

獲取單航帶內的影像，通過同名像點自動匹配以及自由網光束法平差剔除粗差，基于相對定向連接的方式構建單航帶區域網；

提取航帶間所有影像重疊區域的全自動連接點，通過航帶間自由網光束法進行平差處理，剔除粗差后，相對定向連接構成全航帶區域網；

通過量測控制點在相應像對上的像點坐標，整體區域網光束法平差并剔除粗差后，絕對定向求得水平拼接影像精確外方位元素，完成圖像拼接。