[發(fā)明專利]無人機蜂群協(xié)同偵察下的多源戰(zhàn)場圖像快速鑲嵌融合算法

在審

• 申請?zhí)枺?/td>: 202011387589.7
• 申請日: 2020-12-01
• 公開（公告）號: CN112907493A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 吳國強;姜梁;包文龍;黃坤;李午申
• 申請（專利權(quán)）人: 航天時代飛鴻技術(shù)有限公司;中國航天電子技術(shù)研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T7/33;G06T7/13;G06T7/10
• 代理公司: 北京金智普華知識產(chǎn)權(quán)代理有限公司 11401
• 代理人: 巴曉艷

1.一種無人機蜂群協(xié)同偵察下的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，包括以下步驟：

步驟1：分別對多路可見光戰(zhàn)場圖像和多路紅外戰(zhàn)場圖像進行地理位姿校正并進行圖像鑲嵌，得到可見光鑲嵌圖像和紅外鑲嵌圖像；

步驟2：提取可見光鑲嵌圖像和紅外鑲嵌圖像的共性特征進行圖像配準；

步驟3：分別對可見光配準圖像和紅外配準圖像進行偵察目標區(qū)域預提取，基于預提取區(qū)域的顯著值融合預提取的偵察目標區(qū)域，形成只融合預提取的偵察目標區(qū)域融合圖像。

2.根據(jù)權(quán)利要求1所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟1具體為：針對多路可見光戰(zhàn)場圖像和多路紅外戰(zhàn)場圖像，基于多地面控制點校正算法進行地理位姿校正并生成對應四至底圖，根據(jù)生成的對應四至底圖結(jié)合地理位姿信息，分別進行圖像鑲嵌，得到可見光鑲嵌圖像和紅外鑲嵌圖像。

3.根據(jù)權(quán)利要求2所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟1具體包括：

步驟11：分別接收一組無人機拍攝的具有重疊區(qū)域的多路可見光戰(zhàn)場圖像和多路紅外戰(zhàn)場圖像；

步驟12：根據(jù)每幅圖像的地理位置信息通過多地面控制點校正算法分別對可見光戰(zhàn)場圖像和紅外戰(zhàn)場圖像進行幾何校正，確定每幅圖像的地理位姿；

步驟13：根據(jù)校正后的所有圖像的地理位姿確定所有圖像的最大外接矩形，并生成對應四至底圖，四至底圖要求每個像素值設(shè)為0，并根據(jù)地理位姿信息，將校正后的圖像鑲嵌在四至底圖上，完成同一時刻接收的無人機蜂群回傳的具有重疊區(qū)域的子圖像的鑲嵌；

步驟14：重復步驟13完成下一時刻接收的無人機蜂群回傳的具有重疊區(qū)域的子圖像的鑲嵌，并將鑲嵌圖像與上一時刻的鑲嵌圖像進行再次鑲嵌，直至生成足夠大的戰(zhàn)場圖像。

4.根據(jù)權(quán)利要求3所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟12中，通過多地面控制點校正算法分別對可見光戰(zhàn)場圖像和紅外戰(zhàn)場圖像進行幾何校正具體包括：

選取無人機拍攝圖像上的四個頂點、圖像每條邊上的中心點和圖像中心點共計9個點作為多地面控制點；

將所選擇的9個GCP的坐標代入以下公式：

式中a_ij,b_ij為多項式系數(shù)，N為多項式系數(shù)個數(shù)，N＝9，(u,v)為原始圖像像元點坐標，(x,y)為校正后圖像像元點坐標。

5.根據(jù)權(quán)利要求1所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟2具體為：對得到的可見光鑲嵌圖像和紅外鑲嵌圖像分別進行Canny邊緣檢測，提取邊緣圖像的加速穩(wěn)健特征點，完成可見光鑲嵌圖像和紅外鑲嵌圖像的配準。

6.根據(jù)權(quán)利要求5所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟2具體包括：

步驟21：對得到的可見光鑲嵌圖像和紅外鑲嵌圖像分別進行Canny邊緣檢測，分別得到邊緣圖；

步驟22：針對邊緣圖像素點構(gòu)建黑塞矩陣，進行加速穩(wěn)健特征點檢測，確定特征點的主方向；

步驟23：分別在兩幅邊緣圖上構(gòu)建加速穩(wěn)健特征點描述子，采用快速近似最近鄰搜索算法完成特征點匹配，得到特征點之間的對應關(guān)系。

7.根據(jù)權(quán)利要求6所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟2中，Canny邊緣檢測具體包括：采用高斯函數(shù)的任意方向的一階導數(shù)平滑圖像；計算平滑后的圖像的梯度幅值和方向，采用非極大值抑制技術(shù)來抑制局部區(qū)域的干擾值；設(shè)定高低閾值去除虛假邊緣，連接真實邊緣。

8.根據(jù)權(quán)利要求1所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟3具體為：對可見光配準圖像和紅外配準圖像進行偵察目標區(qū)域預提取，分別計算紅外/可見光配準圖像預提取區(qū)域的顯著值及其對應的可見光/紅外配準圖像區(qū)域的顯著值作為融合權(quán)重并分別均勻分割，僅對分割子區(qū)域進行線性加權(quán)得到只融合預提取的偵察目標區(qū)域融合圖像。

9.根據(jù)權(quán)利要求8所述的多源戰(zhàn)場圖像快速鑲嵌融合算法，其特征在于，所述步驟3具體包括：

步驟31：分別對紅外配準圖像和可見光配準圖像進行傅里葉變換的得到頻譜圖；

步驟32：對紅外配準圖像頻譜圖幅頻響應進行均值平滑，將平滑后的幅頻響應與原始幅頻響應作差，得到紅外圖像頻譜殘留；對可見光配準圖像頻譜圖幅頻響應進行均值平滑，將平滑后的幅頻響應與原始幅頻響應作差，得到可見光圖像頻譜殘留；

步驟33：對頻譜殘留作逆傅里葉變換得到顯著圖，提取紅外配準圖像和可見光配準圖像可能包含偵察目標的區(qū)域作為預提取區(qū)域；

步驟34：分別計算紅外配準圖像預提取區(qū)域的顯著值及其對應的可見光圖像區(qū)域的顯著值作為融合權(quán)重；分別計算可見光配準圖像預提取區(qū)域的顯著值及其對應的紅外圖像區(qū)域的顯著值作為融合權(quán)重；

步驟35：將提取得到的紅外配準圖像目標區(qū)域與對應可見光配準圖像區(qū)域均勻分割成M塊；將提取得到的可見光圖像目標區(qū)域與對應紅外配準圖像區(qū)域均勻分割成M塊，M取值為2≤M≤Sum的正整數(shù)，Sum為該塊區(qū)域的像素數(shù)之和，M越大，融合程度越高；

步驟36：對分割子區(qū)域進行線性加權(quán)得到只融合預提取的偵察目標區(qū)域融合圖像。