[發明專利]一種自動融合多源圖像以提供增強的情境感知系統及方法

在審

• 申請號: 201710703866.2
• 申請日: 2017-08-16
• 公開（公告）號: CN107357936A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 吳丁花;張曦;陳益平;楊楠;肖敏;鄭衛民;譚獻良;李志學;周松林;顏紫科;羅瑤
• 申請（專利權）人: 湖南城市學院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T5/50;H04N5/77;H04N7/18;H04N19/46;H04W4/04
• 代理公司: 北京國坤專利代理事務所(普通合伙)11491
• 代理人: 趙紅霞

技術領域

本發明屬于圖像數據處理技術領域，尤其涉及一種自動融合多源圖像以提供增強的情境感知系統及方法。

背景技術

各種監視活動依賴于收集和處理的圖像數據。圖像數據可以采取靜態圖像或視頻的形式。這種監視活動可以由飛機，衛星，船或車輛進行。無論來源如何，所收集的圖像都是實時或近實時處理的，以便支持實時決策。無人駕駛飛行器(或“UAV”)，可以為地面操作者提供接近實時的監視視頻。基于此，地面操作者可以做出重要的決策。這些決策可包括是否對高速公路進行緊急封路、派出消防隊、派出120救援等情景。無人駕駛飛機監視視頻雖然可以實時或接近實時的拍攝，但通常受到攝像頭的狹窄視野的影響。需要進行多源數據的融合，以便增強情景感知能力。

綜上所述，現有技術存在的問題是：現有情景感知技術基本采取單個或多個獨立設備獲取圖像或視頻，由于單個或多個獨立設備視野狹窄，不能從其獲取的圖像和視頻中獲取全局的空間情境感知。且傳統技術和設備，所獲取的圖像和視頻無空間地理坐標，難以準確判斷所獲取內容的精準位置，這對需要精確地理定位的多項活動，如火警監控、道路監控、緊急醫療救助等情境感知，起不到應有的作用。

發明內容

針對現有技術存在的問題，本發明提供了一種自動融合多源圖像以提供增強的情境感知系統及方法。

本發明是這樣實現的，一種自動融合多源圖像以提供增強的情境感知方法，所述自動融合多源圖像以提供增強的情境感知方法包括以下步驟：

從飛行器內的攝像機生成視頻流；

從GPS獲取地理編碼；

將地理編碼嵌入視頻流，并將帶地理編碼的視頻流發送至地面操作者；

利用圖像識別等技術，從視頻流中截取感興趣的圖像幀；

將感興趣圖像幀和相關聯的地理編碼存儲在臨時屏幕錄制存儲器中；

提取與感興趣圖像幀相關聯的地理編碼；

利用所提取的地理編碼在大范圍的地理圖像中定位感興趣幀；

利用所提取的地理編碼，在大范圍的地理圖像中截取所提取的地理編碼周邊的地理圖像。

將截取的地理編碼周邊的地理圖像存儲在臨時圖像存儲器中；

將捕獲的幀和截取的地理編碼周邊的地理圖像移動到臨時數據存儲并且將捕獲的幀定向在所截取的地理編碼周邊的地理圖像上；

向臨時數據存儲寫入標記語言KML/KMZ文件，使捕獲的幀和截取的地理編碼周邊的地理圖像能由地理圖像瀏覽器打開查看。

進一步，所述自動融合多源圖像以提供增強的情境感知方法還包括：

生成感興趣的圖像幀和相關聯的地理編碼；

從所述感興趣的圖像幀提取相關聯的地理編碼；

基于所提取的地理編碼查詢現有圖像的存儲并基于所述查詢定位一個或多個地理圖像；

通過在所截取的地理編碼周邊的地理圖像上定位感興趣的圖像幀來創建融合的圖像。

進一步，所述自動融合多源圖像以提供增強的情境感知方法還包括：

從融合的圖像創建地理標記語言KML/KMZ文件以供地理圖像瀏覽器查看；

將一個或多個圖像元、地理編碼元數據標記與所述KML文件相關聯；

將所述元數據標記和所述融合圖像壓縮成KMZ文件；

允許通過地理圖像瀏覽器訪問KMZ文件。

本發明所述的自動融合多源圖像以提供增強的情境感知系統還包括：

用于實時產生視頻流的相機；

視頻回放工具，用于從所生成的視頻捕獲感興趣的幀，包括地理編碼與感興趣的幀相相關聯的模塊；

感興趣圖像幀和相關聯的地理編碼的數據存儲模塊；

計算機系統，操作其通過將來自所述感興趣圖像幀的地理編碼與所述先前產生的圖像的地理編碼進行比較，從所述大范圍地理圖像存儲中選擇一個或多個地理圖像；

計算機通過在所選擇的圖像上定向感興趣圖像幀來創建融合圖像。

所述相機可與無人駕駛飛行器相連接、與載人飛行器相連接、與衛星相連接、與基于陸地的偵察車輛相連接、與無人地面傳感器相連接、與載人地面傳感器相連接、與無人水中傳感器相連接或所述相機與載人水上交通工具相連接。

本發明的另一目的在于提供一種應用所述自動融合多源圖像以提供增強的情境感知方法的飛行器。

本發明的另一目的在于提供一種應用所述自動融合多源圖像以提供增強的情境感知方法的載人水上交通工具。