[發明專利]一種用于多無人機協同實時偵察的全景視頻監控方法

無效

• 申請號: 201310663351.6
• 申請日: 2013-12-10
• 公開（公告）號: CN103686084A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 劉昊;伍航;趙亞麗
• 申請（專利權）人: 中國航天科工集團第四研究院
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06T15/00
• 代理公司: 中國航天科工集團公司專利中心 11024
• 代理人: 岳潔菱;葛鵬

技術領域

本發明涉及一種，特別是一種。本發明涉及一種全景視頻監控方法，特別是一種用于多無人機協同實時偵察的全景視頻監控方法。

背景技術

在軍事無人機應用領域，視頻圖像是其最主要、最大量、信息最豐富的情報來源信息格式。傳統視頻監控方法一般采用二維電視墻的顯示方式對無人機實時采集的二維視頻圖像進行顯示，當無人機的數目較多，導致傳回的視頻通道數較多時，傳統視頻監控方法存在監控、監察的整體性不足、覆蓋率低、信息量過大等問題，導致作戰人員無法明確特定無人機所處的地理位置信息，造成方向感迷失現象，從而無法從有限的監控窗口中對偵察事件做出快速響應。

發明內容

本發明目的在于提供一種用于多無人機協同實時偵察的全景視頻監控方法，解決多無人機協同實時偵察時造成的作戰人員對特定無人機所處的地理位置信息不明確、方向感迷失的問題。

一種用于多無人機協同實時偵察的全景視頻監控方法的具體步驟為：

第一步?構建用于多無人機協同實時偵察的全景視頻監控系統

用于多無人機協同實時偵察的全景視頻監控，包括：數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊。其中，

數據采集模塊功能為：采集軍事無人機下視偵察圖像，并將無人機下視偵察圖像與無人機地理信息打包發送。

數據接收模塊功能為：解析無人機下視偵察圖像與地理信息數據包，將無人機下視偵察圖像與地理信息分離，并將無人機下視偵察圖像數據格式轉換為RGB格式。

數據處理模塊功能為：對無人機下視偵察圖像進行預校正，對有重合區域的圖像進行融合，更新三維虛擬環境中虛擬無人機位置、姿態，以及虛擬相機的視錐體外框。

三維渲染引擎模塊功能為：將融合后無人機下視偵察圖像、無人機及虛擬相機視錐體外框渲染到三維場景中，實現無人機偵察區域的場景漫游，以及關鍵場景視角和無人機視角間的快速切換與跟蹤。

第二步?數據采集模塊采集軍事無人機下視偵察圖像

數據采集模塊采集偵察區域的下視偵察圖像數據，獲取無人機的位置、姿態地理信息，將二者打包成TCP/IP數據包，通過無線發送裝置將打包的數據以無線方式發送到分布在各個區域的無線數據接收站點，無線數據接收站點作為中介將數據通過有線網絡發送。

第三步?數據接收模塊集中接收與解析偵察數據

數據接收模塊對前端多無人機協同偵察獲取的無人機下視偵察圖像與地理信息數據包進行集中解析，分離出無人機下視偵察圖像數據和位置、姿態地理信息數據，通過視頻服務器將無人機下視偵察圖像數據格式轉換為RGB格式，同無人機位置、姿態地理信息一起，通過有線IP網絡進行傳輸。

第四步?數據處理模塊處理視頻圖像數據、更新三維虛擬場景要素

數據處理模塊以線程方式處理每個無人機采集的無人機下視偵察圖像數據。首先對采集的無人機下視偵察圖像數據通過攝像機標定方式進行預校正，獲取校正后的視頻圖像數據，結合無人機的位置、姿態地理信息數據，對多無人機重合區域的視頻圖像數據基于特征點匹配進行融合，得到圖像變換矩陣、下視偵察圖像各像素融合權重因子構成的Alpha圖像和變換后的視頻圖像；然后用無人機位置、姿態地理信息更新三維虛擬場景中無人機的位置與姿態變量，結合圖像變換矩陣，更新虛擬相機視錐體外框的位置與姿態變量。

第五步?三維渲染引擎模塊實現虛擬三維場景的渲染與漫游

三維渲染引擎模塊通過頂點著色器和片段著色器將無人機下視偵察圖像數據進行融合，獲得融合后無人機下視偵察圖像，通過OpenSceneGraph三維場景渲染平臺，將融合后無人機下視偵察圖像連同經無人機地理信息更新后的三維虛擬場景中的無人機及虛擬相機視錐體外框，渲染到虛擬三維場景環境中，通過OpenSceneGraph三維場景渲染平臺的三維場景漫游器實現三維場景的漫游，通過基于OpenSceneGraph三維場景渲染平臺接口開發的圖形用戶界面實現關鍵場景視角和無人機視角間的快速切換與跟蹤。

至此，實現了用于多無人機協同實時偵察的全景視頻監控。

本發明實現了多無人機協同偵察應用下的圖像融合、渲染，無人機的快速切換與跟蹤。

具體實施方式

一種用于多無人機協同實時偵察的全景視頻監控方法的具體步驟為：

第一步?構建用于多無人機協同實時偵察的全景視頻監控系統

用于多無人機協同實時偵察的全景視頻監控，包括：數據采集模塊、數據接收模塊、數據處理模塊和三維渲染引擎模塊。其中，