[發(fā)明專利]無人機(jī)蜂群協(xié)同偵察下的多源戰(zhàn)場圖像快速鑲嵌融合算法

在審

• 申請?zhí)枺?/td>: 202011387589.7
• 申請日: 2020-12-01
• 公開（公告）號: CN112907493A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 吳國強(qiáng);姜梁;包文龍;黃坤;李午申
• 申請（專利權(quán)）人: 航天時(shí)代飛鴻技術(shù)有限公司;中國航天電子技術(shù)研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T7/33;G06T7/13;G06T7/10
• 代理公司: 北京金智普華知識產(chǎn)權(quán)代理有限公司 11401
• 代理人: 巴曉艷

本發(fā)明公開了一種無人機(jī)蜂群協(xié)同偵察下的多源戰(zhàn)場圖像快速鑲嵌融合算法，屬于圖像處理、計(jì)算機(jī)視覺領(lǐng)域。該方法包括，分別對多路可見光戰(zhàn)場圖像和多路紅外戰(zhàn)場圖像進(jìn)行地理位姿校正并進(jìn)行圖像鑲嵌，得到可見光鑲嵌圖像和紅外鑲嵌圖像；提取可見光鑲嵌圖像和紅外鑲嵌圖像的共性特征進(jìn)行圖像配準(zhǔn)；分別對可見光配準(zhǔn)圖像和紅外配準(zhǔn)圖像進(jìn)行偵察目標(biāo)區(qū)域預(yù)提取，基于預(yù)提取區(qū)域的顯著值融合預(yù)提取的偵察目標(biāo)區(qū)域，形成只融合預(yù)提取的偵察目標(biāo)區(qū)域融合圖像。本發(fā)明技術(shù)方案統(tǒng)籌算法性能和適應(yīng)性，提出了一種無人機(jī)蜂群協(xié)同偵察下的戰(zhàn)場圖像快速鑲嵌融合算法，解決了無人機(jī)蜂群偵察系統(tǒng)中戰(zhàn)場圖像快速獲取的諸多問題。

技術(shù)領(lǐng)域

本發(fā)明涉及一種無人機(jī)蜂群協(xié)同偵察下的多源戰(zhàn)場圖像快速鑲嵌融合算法，屬于圖像處理、計(jì)算機(jī)視覺領(lǐng)域。

背景技術(shù)

無人機(jī)蜂群作戰(zhàn)系統(tǒng)與傳統(tǒng)高性能、高成本的單機(jī)作戰(zhàn)平臺(tái)相比，具有低成本、高效能、隱蔽性強(qiáng)、任務(wù)可靠性高和高飽和度攻擊等優(yōu)勢，可通過“以量致勝、以廉抵耗、以智增效”的方式，滿足未來復(fù)雜戰(zhàn)場上在高對抗、高威脅環(huán)境下的機(jī)動(dòng)靈活、精準(zhǔn)智能和任務(wù)多樣的作戰(zhàn)需求，然而無人機(jī)蜂群作戰(zhàn)環(huán)境較為復(fù)雜，戰(zhàn)場態(tài)勢瞬息萬變，充分利用無人機(jī)蜂群多類型載荷協(xié)同偵察、多視角圖像協(xié)同拍攝的方式快速獲取大范圍、全方位戰(zhàn)場圖像，深度感知戰(zhàn)場態(tài)勢，為無人機(jī)蜂群協(xié)同控制和智能規(guī)劃提供輔助信息，是實(shí)現(xiàn)無人機(jī)蜂群取得作戰(zhàn)勝利的關(guān)鍵。

無人機(jī)蜂群協(xié)同偵察下的戰(zhàn)場圖像快速鑲嵌融合算法以同源圖像鑲嵌技術(shù)與多源圖像融合技術(shù)為基礎(chǔ)，通過在線獲取無人機(jī)拍攝的多角度偵察圖像，以經(jīng)緯度為基準(zhǔn)對偵察圖像進(jìn)行校正與鑲嵌，將鑲嵌后的多源圖像進(jìn)行配準(zhǔn)與融合，獲取多維度、全方位的戰(zhàn)場圖像。無人機(jī)蜂群協(xié)同偵察過程中，以每架無人機(jī)的光電載荷偵察為例，光電偵察載荷將獲取的圖像數(shù)據(jù)經(jīng)鏈路回傳，單架無人機(jī)受拍攝角度和拍攝區(qū)域的限制，所拍攝的圖像具有局限性和片面性，不能充分獲取戰(zhàn)場信息，將每架無人機(jī)回傳的同源圖像按照經(jīng)緯度信息和圖像特征進(jìn)行校正，并將校正后的圖像依次鑲嵌在底圖上，如此，不僅可對同一時(shí)刻的不同架次的無人機(jī)回傳圖像進(jìn)行圖像鑲嵌，還可對不同時(shí)刻的鑲嵌底圖進(jìn)行再次鑲嵌，全方位獲取偵察圖像。同時(shí)，受光照、氣候條件和成像機(jī)理的限制，單源傳感器拍攝的圖像具有一定的局限性，導(dǎo)致目標(biāo)的誤判和漏判，以光電載荷獲取的可見光圖像與紅外圖像為例，采用多源圖像像素級融合技術(shù)將鑲嵌后的可見光圖像與紅外圖像進(jìn)行預(yù)處理、圖像配準(zhǔn)、權(quán)重計(jì)算、圖像融合等一系列處理，提高融合的可靠性和精度，多維度豐富圖像信息，增加圖像的清晰度、對比度和目標(biāo)可識別性。

然而，可見光圖像與紅外圖像由于成像機(jī)理不同，其圖像特征也有較大差異，需要針對可見光圖像與紅外圖像進(jìn)行共性處理，提取共性特征以完成可見光圖像與紅外圖像在同一坐標(biāo)系下的配準(zhǔn)；同時(shí)，圖像信息具有無序性和分布多樣性的特點(diǎn)，包含有大量冗余信息，真正的偵察目標(biāo)區(qū)域卻只占少數(shù)，而且目標(biāo)所占像素?cái)?shù)不多，占整個(gè)圖像比例較小，將整幅圖像參與到融合處理中勢必會(huì)加大算法計(jì)算量，造成融合系統(tǒng)運(yùn)行效率低和偵察目標(biāo)區(qū)域融合后的特征或?qū)Ρ榷炔幻黠@等現(xiàn)象，不適用于實(shí)際偵察任務(wù)中的準(zhǔn)確性要求。

綜上所述，在無人機(jī)蜂群偵察圖像處理系統(tǒng)中，戰(zhàn)場圖像快速獲取技術(shù)目前面臨以下問題：

1)多架無人機(jī)航拍偵察過程中，多架無人機(jī)所拍攝圖像的視角或視場各不相同，成像區(qū)域具有較大片面性和重疊性，不利于后續(xù)處理；

2)受光照、氣候條件和成像機(jī)理的限制，單源傳感器拍攝的圖像具有一定的局限性，不能完全體現(xiàn)戰(zhàn)場目標(biāo)信息；

3)多源圖像的圖像特征有較大差異，單一特征難以完成可見光圖像與紅外圖像在同一坐標(biāo)系下的配準(zhǔn)；

4)鑲嵌圖像包含有大量冗余信息，真正的目標(biāo)區(qū)域卻只占少數(shù)，而且目標(biāo)區(qū)域所占像素?cái)?shù)不多，占整個(gè)圖像比例較小，將整幅圖像參與到融合處理中勢必會(huì)加大算法計(jì)算量；

5)將整幅圖像參與到融合處理中，融合算法沒有目標(biāo)性和針對性，融合圖像中的無人機(jī)蜂群重點(diǎn)偵察的目標(biāo)區(qū)域沒有太高的區(qū)分度和可識別性。