[發明專利]一種機載綜合視景系統虛實融合顯示方法及系統

有效

• 申請號: 202010001858.5
• 申請日: 2020-01-02
• 公開（公告）號: CN111145362B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 程岳;李亞暉;劉作龍;文鵬程;余冠鋒;韓偉
• 申請（專利權）人: 中國航空工業集團公司西安航空計算技術研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 胡樂

1.一種機載綜合視景系統虛實融合顯示方法，其特征在于，包括：

1)獲取當前機載定位信息以及相應的地圖高程數據和正射影像，并結合飛行姿態信息，得出與多模態視頻傳感器當前幀一致的粗配準地圖畫面；

2)以所述粗配準地圖畫面為浮動圖像f，當前多模態視頻幀為參考圖像f_R，根據建立的關于浮動圖像與參考圖像之間仿射變換的誤差能量函數，優化得到亞像素配準精度的校正后地圖畫面；

3)將所述校正后地圖畫面進行HSV顏色空間分解，獲得分解后的色度、飽和度和亮度分量，將其中亮度分量與多模態視頻進行圖像融合；

4)將融合后的亮度分量再與彩色視頻幀的色度和飽和度分量合并，輸出融合結果；

5)將建立的障礙物模型疊加在步驟4)融合后的圖像畫面中，渲染并輸出虛實融合的綜合視景畫面。

2.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，步驟1)具體是：基于機載定位信息查詢合成視景三維數字地圖數據庫，獲得機場附近的地圖高程數據和飛機前視方向設定范圍的地圖正射影像，結合飛行姿態信息和多模態視頻傳感器標定得到的傳感器內部參數對地圖畫面進行透視投影變換，獲取與多模態視頻傳感器當前幀一致的粗配準地圖畫面。

3.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，步驟1)中是根據計算機視覺中的針孔成像原理繪制得到所述粗配準地圖畫面。

4.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，步驟2)具體是：采用歸一化總梯度(NTG)作為浮動圖像與參考圖像之間仿射變換的誤差能量函數，通過迭代法優化求解該誤差能量函數，獲取誤差能量函數最小情況下的仿射變換參數，即為浮動圖像到參考圖像之間的幾何變換關系；最后對浮動圖像進行幾何變換，獲得亞像素配準精度的校正后地圖畫面。

5.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，步驟3)中所述將其中亮度分量與多模態視頻進行圖像融合，具體是采用基于顯著度的融合方法，在彩色視頻幀亮度分量圖像和多模態視頻幀中逐像素應用拉普拉斯算子，得到初始顯著度圖像；再對初始顯著度圖像進行導向濾波后，輸出平滑的顯著度圖像；以顯著度圖像亮度值作為加權權重，對彩色視頻幀的亮度分量和多模態視頻幀進行逐像素加權平均，輸出融合后的亮度分量。

6.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，步驟5)中所述障礙物模型，是根據所述浮動圖像到參考圖像之間的幾何變換關系，在三維空間中重新計算障礙物點、線、面位置、紋理坐標得到的。

7.根據權利要求1所述的機載綜合視景系統虛實融合顯示方法，其特征在于，所述機載定位信息包括經度、維度和高度；所述飛行姿態信息包括俯仰、橫滾、偏航數據。

8.一種機載綜合視景系統虛實融合顯示系統，其特征在于，包括：

粗配準模塊，用于獲取當前機載定位信息以及相應的地圖高程數據和正射影像，并結合飛行姿態信息，得出與多模態視頻傳感器當前幀一致的粗配準地圖畫面；

精配準模塊，用于以所述粗配準地圖畫面為浮動圖像f，當前多模態視頻幀為參考圖像f_R，根據建立的關于浮動圖像與參考圖像之間仿射變換的誤差能量函數，優化得到亞像素配準精度的校正后地圖畫面；

亮度分量融合模塊，用于將所述校正后地圖畫面進行HSV顏色空間分解，獲得分解后的色度、飽和度和亮度分量，將其中亮度分量與多模態視頻進行圖像融合；

HSV分量合并模塊，用于將融合后的亮度分量再與彩色視頻幀的色度和飽和度分量合并，輸出融合結果；

渲染輸出模塊，用于將建立的障礙物模型疊加在融合后的圖像畫面中，渲染并輸出虛實融合的綜合視景畫面。

9.根據權利要求8所述的機載綜合視景系統虛實融合顯示系統，其特征在于：所述障礙物模型，是通過獲取所述精配準模塊得到的校正后地圖畫面，在三維空間中重新計算障礙物點、線、面位置、紋理坐標得到的。

10.一種機載設備，包括處理器和程序存儲器，其特征在于，所述程序存儲器存儲的程序被處理器加載時執行權利要求1所述機載綜合視景系統虛實融合顯示方法。