[發明專利]一種機載綜合視景系統虛實融合顯示方法及系統

有效

• 申請號: 202010001858.5
• 申請日: 2020-01-02
• 公開（公告）號: CN111145362B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 程岳;李亞暉;劉作龍;文鵬程;余冠鋒;韓偉
• 申請（專利權）人: 中國航空工業集團公司西安航空計算技術研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 胡樂

本發明屬于機載圖形圖像處理領域，涉及一種機載綜合視景系統虛實融合顯示方法及系統。本發明提出的機載綜合視景系統虛實融合顯示方法，通過實時多模態視頻與合成視景地圖畫面的亞像素精度匹配，一方面準確指示跑道和障礙物的精確位置，另一方面通過圖像圖形融合，在色彩和紋理上增強了綜合視景畫面，再進一步對障礙物三維圖形進行幾何校正融合，最終實現了多模態視頻與合成視景地圖畫面的有機融合顯示。本發明能夠有效改善飛行員在低能見度條件下對機場跑道、障礙物的空間位置形態的感知精確，提升情景意識，降低飛行進近和著陸過程中的可控飛行撞地、跑道入侵等典型事故，提高飛機的安全性。

技術領域

本發明屬于機載圖形圖像處理領域，涉及一種機載綜合視景系統虛實融合顯示方法。

背景技術

綜合視景系統(CVS)或增強合成視景系統(ESVS),通過多模態視頻與三維數字地圖融合，在飛行進近階段，為飛行員提供機場跑道、危險地形與障礙物的等效目視視頻畫面信息。它綜合了合成視景系統(SVS)大視場、高分辨率、真彩色的優點以及增強視景系統(EVS)實時多模態(長波紅外、短波紅外與毫米波)視頻穿透氣象障礙成像的優點。虛實融合的綜合視景實時畫面顯著提升飛行員情景意識，增強飛行安全性。

傳統的綜合視景系統中，由于固有的導航參數、傳感器標定等誤差，合成視景畫面與增強視景畫面有一定的配準誤差，為了降低虛實畫面不一致造成的感知障礙，目前的解決方案有兩種，一種是采用“畫中畫”的方式在合成視景虛擬畫面中開窗顯示多模態視頻畫面，忽略窗口邊緣的不一致性。另一種是在多模態視頻畫面上疊加簡化顯示的地圖線框(Framewire)圖形，指示跑道、障礙物與地形。

上述兩種方式都不可避免存在一定的畫面不一致性，干擾飛行員對環境的認知和判斷。另外合成視景畫面與增強視景畫面并沒有獲得精確的配準與融合，缺乏準確的跑道、障礙物等關鍵位置指示和可以辨識的真實場景顏色紋理等細節信息。

發明內容

本發明提出的綜合視景虛實畫面融合顯示方法，旨在提升綜合視景畫面的虛實融合準確度和畫面的可讀性。

本發明的技術方案如下：

該機載綜合視景系統虛實融合顯示方法，包括：

1)獲取當前機載定位信息以及相應的地圖高程數據和正射影像，并結合飛行姿態信息，得出與多模態視頻傳感器當前幀一致的粗配準地圖畫面；

2)以所述粗配準地圖畫面為浮動圖像f，當前多模態視頻幀為參考圖像f_R，根據建立的關于浮動圖像與參考圖像之間仿射變換的誤差能量函數，優化得到亞像素配準精度的校正后地圖畫面；

3)將所述校正后地圖畫面進行HSV顏色空間分解，獲得分解后的色度、飽和度和亮度分量，將其中亮度分量與多模態視頻進行圖像融合；

4)將融合后的亮度分量再與彩色視頻幀的色度和飽和度分量合并，輸出融合結果；

5)將建立的障礙物模型疊加在步驟4)融合后的圖像畫面中，渲染并輸出虛實融合的綜合視景畫面。

基于以上方案，本發明還進一步作了如下優化：

可選地，步驟1)具體是：基于機載定位信息查詢合成視景三維數字地圖數據庫，獲得機場附近的地圖高程數據和飛機前視方向設定范圍的地圖正射影像，結合飛行姿態信息和多模態視頻傳感器標定得到的傳感器內部參數(主點、焦距等)對地圖畫面(即基于前述地圖高程數據和地圖正射影像渲染后的畫面)進行透視投影變換，獲取與多模態視頻傳感器當前幀一致的粗配準地圖畫面。

可選地，步驟1)中是根據計算機視覺中的針孔成像原理繪制得到所述粗配準地圖畫面。