[發明專利]一種合成視覺生成及多元融合裝置

在審

• 申請號: 202011055663.5
• 申請日: 2020-09-29
• 公開（公告）號: CN112381935A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 高強;陶忠;何櫻;紀明;閆杰;張鑫誠;安學智;謝歡;范浩碩;張鵬
• 申請（專利權）人: 西安應用光學研究所
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T1/20;H04N5/268;H04N5/765
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 劉二格

1.一種合成視覺生成及多元融合裝置，其特征在于，包括：核心處理平臺和設置在核心處理平臺上的輸入數據接口、地形數據存儲系統、視頻輸出接口、數據處理系統；核心的處理平臺為CPU/GPU計算平臺；視頻輸出接口用于連接外部顯示設備，向其傳送合成視覺生成的合成視覺場景；地形數據存儲系統中存儲載機所在地理區域的地形數據；輸入數據接口包括：障礙數據輸入接口，接收障礙數據；光電視頻輸入接口，接收光電視頻數據；位姿數據輸入接口，接收載機位姿數據和光電瞄準線姿態數據；操控數據輸入接口，接收操控命令；數據處理系統包括合成視覺生成模塊、障礙數據融合模塊、光電視頻數據融合模塊、目標定位模塊和多視點切換模塊，合成視覺生成模塊接收載機位姿數據、瞄準線姿態數據和載機所在地理區域的地形數據，生成靜態場景，驅動生成動態場景；障礙數據融合模塊通過障礙輸入數據接口，接收障礙數據，并解析障礙的地理位置，并標注在合成視覺生成模塊生成的場景中；光電視頻數據融合模塊通過光電視頻輸入接口接收光電視頻數據，通過位姿數據輸入接口接收載機位姿數據和瞄準線姿態數據，與合成視覺生成模塊生成的場景進行配準融合，生成綜合視覺圖像；目標定位模塊對綜合視覺圖像中所選擇的目標，計算出其對應的地理空間位置；多視點切換模塊從操控數據輸入接口接收操控命令，解析到視點切換命令后，根據預設順序切換視點，對合成視覺生成模塊生成的場景以多個不同視點觀察。

2.如權利要求1所述的合成視覺生成及多元融合裝置，其特征在于，所述CPU/GPU計算平臺選用nvidia公司提供的TX2平臺以及XAVIOR平臺；視頻輸出接口選用HDMI接口；輸入數據接口選用以太網接口；光電視頻輸入接口選用SDI接口；位姿數據輸入接口選用串行422接口；操控數據輸入接口選用串行422接口。

3.如權利要求2所述的合成視覺生成及多元融合裝置，其特征在于，所述數據處理系統基于linux操作系統來運行，其還包括：三維圖形引擎和計算機視覺庫；三維圖形引擎庫選用OSG/OSGEARTH、UNREAL、UNITY3D中的一種；計算機視覺庫優選opencv。

4.如權利要求1所述的合成視覺生成及多元融合裝置，其特征在于，所述合成視覺生成模塊生成靜態場景以及驅動生成動態場景包括以下步驟：

(1)生成三維地形環境

從位姿數據輸入接口中接收外部GPS/慣導設備的位姿數據，載機位姿參數主要包括載機位置參數和姿態參數，位置參數包括經度、緯度、高度，分別記為L、B、H，位置參數以地理坐標系為基準，經度、緯度單位為度，姿態參數包括航向角、俯仰角、橫滾角，分別記為a、p、r，單位為度，該角度以東北天坐標系為基準；光電瞄準線姿態數據包括瞄準線的俯仰角和方位角，分別記為a_los、p_los，該角度以載機坐標系為基準；

(2)獲取包括載機位置、姿態，光電瞄準線姿態在內的共8個數據，作為后續動態連續合成視覺圖像生成步驟的輸入；

(3)從地形數據存儲系統中調出地形數據，進行靜態場景生成，輸入為載機所在地理區域的地形數據，包含高程數據和衛星紋理影像數據；基于對應地理區域的高程地形數據和衛星紋理數據生成該區域的三維地理場景。