[發明專利]一種基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法

有效

• 申請號: 201811471438.2
• 申請日: 2018-12-04
• 公開（公告）號: CN109544696B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 張磊;牛文生;辛剛;吳志川
• 申請（專利權）人: 中國航空工業集團公司西安航空計算技術研究所
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/33;G06T7/13;G06T7/12
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 張艷

本公開提供了一種基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法，所述方法包括：視覺特征提取過程、視覺慣性融合過程和虛實圖像配準過程；其中視覺特征提取過程包括：接收慣性測量單元輸出的位姿參數，采集2D圖像，從所述2D圖像提取跑道區域，在所述跑道區域中進行直線檢測，并提取跑道邊緣線；視覺慣性融合過程包括：定義系統狀態、建立慣性誤差傳遞方程、獲取量測信息、非線性卡爾曼濾波、修正位姿參數；并且虛實圖像配準過程包括：用修正后的位姿參數驅動三維地形引擎生成3D合成視景，并在3D合成視景上疊加所述2D圖像以實現虛實圖像配準。

技術領域

本發明屬于計算機領域，具體涉及一種基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法。

背景技術

機載增強合成視景是一種能夠有效提升飛行員態勢感知能力的輔助導航手段，目前機載增強合成視景依賴于機載高精度慣性導航設備和地基增強設施的輔助來保證增強視景與合成視景配準，硬件成本高昂，僅應用于大型飛機和高端公務機，且運行在具有LAAS支持的北美地區。

針對現有機載增強合成視景技術的缺陷，本發明提出了一種基于前視紅外圖像輔助位姿估計的虛實圖像精確配準方法。

發明內容

本發明的目的：降低機載增強合成視景系統的使用成本，提升導航精度和魯棒性，使其不僅適用于大型飛機和高端公務機，而且適用于通用飛機。

本發明的技術方案：通過本發明的基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法實現上述目的，所述方法包括：視覺特征提取過程、視覺慣性融合過程和虛實圖像配準過程；其中視覺特征提取過程包括：接收慣性測量單元輸出的位姿參數，采集2D圖像，從所述2D圖像提取跑道區域，在所述跑道區域中進行直線檢測，并提取跑道邊緣線；視覺慣性融合過程包括：定義系統狀態、建立慣性誤差傳遞方程、獲取量測信息、非線性卡爾曼濾波、修正位姿參數；并且虛實圖像配準過程包括：用修正后的位姿參數驅動三維地形引擎生成3D合成視景，并在3D合成視景上疊加所述2D圖像以實現虛實圖像配準。

在上述基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法中，在所述視覺特征提取過程中，

1)提取跑道區域包括：輸入慣性測量位置、姿態以及機場地理信息，計算得到跑道區域在相機CCD像素平面的投影，估計跑道區域；計算出合成視景中跑道的前端左、右角點和消失點的坐標，以及跑道邊緣線端點處的鄰域寬度；

2)直線檢測包括：采用Hough、LSD或EDLines線段檢測子從跑道區域中提取直線段；

3)提取跑道邊緣線包括：利用跑道區域在相機CCD像素平面的投影的四邊輪廓，選取跑道區域的前邊緣、左邊緣和右邊緣線鄰域內的直線段，按照直線段與邊緣線的距離和夾角做進一步篩選，為選出的直線段賦予權重值，按照權重值從直線段中隨機選取點，再利用RANSAC方法分別擬合各鄰域內直線段上提取的隨機點，依次得到跑道前端邊緣線、左邊緣線和右邊緣線，利用這三條直線兩兩相交，計算出跑道在像素平面上的前端左、右角點和消失點的坐標。

在上述基于視覺慣性組合的機載增強合成視景虛實圖像精確配準方法中，在所述視覺慣性融合過程中，

定義系統狀態包括：位置誤差、速度誤差、姿態誤差、加速度誤差和角速度誤差，即

建立慣性誤差傳遞方程

獲取量測信息：從紅外圖像中提取跑道前端左、右角點和消失點坐標作為量測信息；

非線性卡爾曼濾波：利用慣性誤差傳遞方程和量測信息進行非線性卡爾曼濾波，輸出慣性誤差估計值；

位姿參數修正：利用慣性誤差估計值修正位姿參數。